Context window
Det maksimale antal tokens som en sprogmodel samtidig kan tage som input.
Kort fortalt
Context window er den mængde tekst en AI kan 'se' på én gang, målt i tokens.
- Kategori
- begreb
- Niveau
- begynder
Betydninger
2- 1
Den mængde inputtekst (i tokens) som en sprogmodels opmærksomhedsmekanisme kan tage højde for i én fremadrettet beregning.
- GPT-3 har et context window på 2048 tokens, mens GPT-4 Turbo kan håndtere op til 128.000 tokens.
- Et større context window muliggør analyse af hele dokumenter i én omgang, men øger også beregningsomkostningerne.
- 2
I bredere forstand, den kontekstuelle information som modellen har adgang til, der kan påvirke outputtet.
- Når man chatter med en AI, udgør den aktuelle samtale dets context window.
Hvornår bruges det
Context window er en central egenskab ved LLM'er, der bestemmer, hvor lang en sammenhæng modellen kan forstå. Det har betydning for opgaver som dokumentanalyse, samtaler og kodegenerering, hvor lange input skal håndteres.
Oprindelse
Begrebet stammer fra transformerarkitekturen, hvor opmærksomhedsmekanismen har en begrænset rækkevidde.
Afledte ord
2Kilder
2- Attention Is All You Need (2017)
- GPT-4 Technical Report (2023)