end-of-sequence token
Et specielt token der markerer afslutningen på en sekvens i en sprogmodel.
Kort fortalt
Et særligt tegn der fortæller en AI-model, at sætningen eller teksten er slut.
- Kategori
- begreb
- Niveau
- begynder
- Udtale
- /ɛnd‿əv ˈsiːkwəns ˌtoʊkən/
Betydninger
1- 1
Et foruddefineret token i sprogmodellens ordforråd, der repræsenterer slutningen på en tekstsekvens. Modellen lærer at forudsige dette token efter det sidste meningsfulde ord og bruger det som stopbetingelse under generering.
- Under inferens stopper GPT-2 med at generere, når den udsender <|endoftext|>-tokenet. — OpenAI GPT-2 dokumentation
- I et seq2seq-oversættelsessystem tilføjes </s> efter hver sætning for at markere slutningen. — Attention Is All You Need, 2017
Hvornår bruges det
Bruges i autoregressive sprogmodeller under træning og inferens til at signalere, hvornår genereringen skal stoppe. Under træning indsættes tokenet efter hver sekvens i datasættet; under inferens stopper modellen med at generere når den producerer dette token.
Oprindelse
Fra engelsk 'end-of-sequence' (slut på sekvens) og 'token' (tegn i en sprogmodel).
Afledte ord
2Kilder
2- Language Models are Unsupervised Multitask Learners (OpenAI, 2019)
- Attention Is All You Need (Vaswani et al., 2017)