Token-grænse
Maksimalt antal tokens en sprogmodel kan behandle i én forespørgsel eller session.
Kort fortalt
Den øvre grænse for, hvor mange ord/dele af ord modellen kan tage imod på én gang.
- Kategori
- begreb
- Niveau
- begynder
- Udtale
- /ˈtoːkənˌgʁænsə/
Betydninger
1- 1
Den maksimale længde af en sekvens af tokens som en sprogmodel kan håndtere ad gangen, defineret af dens kontekstvindue.
- Modellen har en token-grænse på 4096 tokens.
- Hvis du overskrider token-grænsen, bliver inputtet afkortet.
Hvornår bruges det
Bruges til at begrænse inputlængden i prompts og outputlængden i svar. Overskridelse resulterer i afkortning eller fejl.
Oprindelse
Sammensætning af 'token' (en enhed af tekst) og 'grænse' (limit).