prætræningsmål
En objektivfunktion, der anvendes under ubegrænset eller selvovervåget før-træning af en sprogmodel, typisk med henblik på at lære generelle sprogrepræsentationer.
Kort fortalt
En funktion der guider modellens læring under før-træning, fx ved at forudsige det næste ord i en sætning.
- Kategori
- teknik
- Niveau
- øvet
Betydninger
1- 1
Objektivfunktionen, der anvendes under før-træning af en sprogmodel for at lære generelle sprogrepræsentationer fra store mængder ustrukturerede tekstdata.
- GPT-3 anvender et autoregressivt prætræningsmål, der forudsiger næste token i en sekvens. — forskningsartikel, 2020
- BERTs prætræningsmål inkluderer maskeret sprogmodellering og næste-sætnings-forudsigelse. — forskningsartikel, 2019
Hvornår bruges det
Prætræningsmål bruges i før-træningsfasen af modeller som GPT (autoregressivt mål) og BERT (maskeret sprogmodellering). De er afgørende for at modellen kan lære sprogmønstre uden mærkede data.
Oprindelse
Sammensat af 'prætræning' og 'mål'.
Afledte ord
2Kilder
3- Attention Is All You Need
- BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
- Language Models are Few-Shot Learners