context window length
Den maksimale mængde tokens en sprogmodel kan behandle i én sekvens.
Kort fortalt
Hvor mange ord eller underord en AI-model kan læse eller skrive på én gang.
- Kategori
- begreb
- Niveau
- øvet
Betydninger
1- 1
Den maksimale mængde tokens (ord eller underord) som en sprogmodel kan behandle i én sammenhæng, både som input og output.
- Modellens context window length på 8192 tokens gør den velegnet til lange dokumenter.
- En større context window length kræver mere hukommelse og beregningskraft.
Hvornår bruges det
Context window length er en kritisk specifikation for sprogmodeller, da den bestemmer, hvor lange tekster modellen kan håndtere i et enkelt træk. Den påvirker evnen til at forstå lange dokumenter, føre lange samtaler eller generere lange svar.
Oprindelse
Sammensat af 'context window' (kontekstvindue) fra NLP og 'length' (længde). 'Context window' refererer til det vindue af omgivende tekst, modellen tager i betragtning.