left-side truncation
Teknik til at forkorte en sekvens ved at fjerne tidlige dele og bevare de seneste, typisk anvendt i sprogmodeller til at holde sig inden for kontekstvinduet.
Kort fortalt
Man klipper begyndelsen af en tekst væk for at få plads til nyere indhold, f.eks. i en chat-samtale.
- Kategori
- teknik
- Niveau
- øvet
Betydninger
1- 1
Den primære betydning: at fjerne de tidligste tokens i en sekvens for at reducere længden, især for at passe ind i et kontekstvindue.
- Når en samtale overstiger modelens kontekstlængde, anvendes venstresidet trunkering for at bevare de nyeste beskeder. — OpenAI API dokumentation, 2023
Hvornår bruges det
Venstresidet trunkering bruges ofte i samtalebaserede sprogmodeller, hvor den ældste del af dialogen fjernes for at holde modellens kontekst inden for dens maksimale længde. Det er især nyttigt, når samtalen er lang og de tidligste dele ikke længere er relevante for den nuværende kontekst.
Oprindelse
Udtrykket kommer fra datalogi, hvor 'left' refererer til begyndelsen af en sekvens og 'truncation' betyder afkortning. I sprogmodeller blev det almindeligt med introduktionen af transformere og faste kontekstvinduer.
Kilder
1- OpenAI API documentation on managing context length