context window truncation

1. 1

   Processen med at afkorte en inputstreng til en given maksimal længde ved at fjerne tegn eller tokens fra starten eller slutningen.

   • Hvis prompten overstiger modellens kontekstvindue, anvender vi context window truncation for at fjerne de ældste beskeder. — Eksempel fra praksis
   • Context window truncation fra venstre bevarer de nyeste tokens, hvilket er almindeligt i chatbot-applikationer.

Context window truncation anvendes typisk i præprocessering, før en prompt sendes til en LLM. Man kan vælge at truncate fra højre (fjern slutningen) eller venstre (fjern begyndelsen), afhængigt af om de nyeste eller ældste oplysninger er vigtigst. Det er en simpel, men grov løsning sammenlignet med metoder som sliding window eller chunking.

def truncate_left(text, max_tokens, tokenizer):
    tokens = tokenizer.encode(text)
    if len(tokens) > max_tokens:
        tokens = tokens[-max_tokens:]
    return tokenizer.decode(tokens)

def truncate_right(text, max_tokens, tokenizer):
    tokens = tokenizer.encode(text)
    if len(tokens) > max_tokens:
        tokens = tokens[:max_tokens]
    return tokenizer.decode(tokens)

To simple Python-funktioner til at truncate input fra henholdsvis venstre og højre ved hjælp af en tokenizer.

Sammensat af 'context window' (kontekstvindue) og 'truncation' (afkortning). Begrebet opstod med moderne sprogmodellers begrænsede kontekstlængde.

• LLM Context Window Limitations