right-side truncation
Right-side truncation er en metode til at begrænse en sekvens af tokens til en maksimal længde ved at fjerne tokens fra begyndelsen (venstre side), så de nyeste (højre) tokens bevares.
Kort fortalt
Right-side truncation betyder, at man klipper den ældste del af en tekst væk for at holde den nyeste del, når modellen har en maksimal længde.
- Kategori
- teknik
- Niveau
- øvet
Betydninger
1- 1
En teknik til at forkorte en token-sekvens ved at fjerne tokens fra venstre ende, så sekvensen starter fra en bestemt position og slutter ved det sidste token, for at overholde en maksimal længde.
- Ved brug af right-side truncation bevares de sidste 2048 tokens i samtalehistorikken, og de ældste beskeder kasseres.
Hvornår bruges det
Right-side truncation bruges især i chatbots og samtalesystemer, hvor de seneste beskeder er mest relevante. Når inputlængden overstiger modellens kontekstvindue, fjernes de ældste tokens fra venstre, så de nyeste beskeder bevares intakte.
Kodeeksempel
def truncate_right(tokens: list, max_len: int) -> list:
"""Behold de sidste max_len tokens."""
return tokens[-max_len:] if len(tokens) > max_len else tokensSimpel funktion til at udføre right-side truncation på en liste af tokens.
Oprindelse
Udtrykket 'right-side truncation' kommer fra engelsk og beskriver, at trunkeringen sker på højre side af sekvensen (altså at man beholder højre side).