sequence length
Antallet af tokens (f.eks. ord eller underord) i en sekvens, der behandles af en sprogmodel.
Kort fortalt
Hvor mange ord eller stykker data modellen kan håndtere på én gang.
- Kategori
- begreb
- Niveau
- begynder
- Udtale
- /ˈsiːkwəns lɛŋθ/
Betydninger
1- 1
Antallet af tokens i en sekvens, som en model kan tage som input eller generere som output.
- Modellens maksimale sekvenslængde er 2048 tokens.
- Træning med længere sekvenslængder forbedrer evnen til at håndtere lange dokumenter.
Hvornår bruges det
Sekvenslængde er en central hyperparameter i transformer-modeller, da den bestemmer modellens maksimale inputstørrelse. Længere sekvenser kræver mere hukommelse og beregning, men kan fange længere afhængigheder i teksten.
Oprindelse
Fra engelsk 'sequence' (rækkefølge) og 'length' (længde).