special-token
Et særligt token, som modellen bruger til at markere begyndelse, slutning eller særlige kontekster i en sekvens.
Kort fortalt
Et særligt ord eller symbol, som AI-modellen genkender som en instruktion, f.eks. til at starte eller stoppe en sætning.
- Kategori
- begreb
- Niveau
- begynder
- Udtale
- /ˈspɛʃəl ˈtoʊkən/
Betydninger
2- 1
Et token, der ikke repræsenterer et almindeligt ord eller tegn, men i stedet bruges til at give modellen instruktioner om struktur, afgrænsning eller særlige formål.
- GPT-2 tilføjer <|endoftext|> som special-token efter hver tekst. — OpenAI dokumentation
- 2
Et token med en specifik funktion i en given modelarkitektur, såsom maskering, utfyldning eller ukendte ord.
- BERT bruger [MASK]-token til at angive et ord, der skal forudsiges i masked language modeling. — Devlin et al., 2019
Hvornår bruges det
Bruges i sprogmodeller som GPT og BERT til at angive sekvensens begyndelse (f.eks. [CLS], <|startoftext|>), slutning (f.eks. [SEP], <|endoftext|>), eller til at adskille forskellige dele af input. Special-tokens er essentielle for at modellen kan forstå strukturen.
Oprindelse
Udtrykket kommer fra engelsk 'special token', hvor 'special' betyder særlig og 'token' refererer til en enhed i tekstbehandling.
Afledte ord
3Kilder
2- Attention Is All You Need (2017)
- BERT: Pre-training of Deep Bidirectional Transformers (Devlin et al., 2019)