fortræningsmål
Et fortræningsmål er den specifikke opgave eller det mål, som en model optimeres mod under den indledende træning på store, umærkede datasæt, før den eventuelt finjusteres til specifikke opgaver.
Kort fortalt
Kort fortalt: Den opgave modellen lærer at løse, når den trænes på store mængder tekst uden facitliste – fx at forudsige næste ord i en sætning.
- Kategori
- begreb
- Niveau
- øvet
Betydninger
2- 1
Det overordnede mål eller træningssignal, der bruges under fortræning af en model på store, ustrukturerede datasæt, typisk baseret på selvovervåget læring.
- Valget af fortræningsmål er afgørende for, hvilke sproglige egenskaber modellen lærer.
- 2
En specifik instans eller type af fortræningsmål, såsom maskeret sprogmodellering (MLM) eller næste-sætnings-forudsigelse (NSP).
- BERT anvender et fortræningsmål baseret på maskeret sprogmodellering.
Hvornår bruges det
Fortræningsmålet definerer, hvordan modellen lærer repræsentationer af sprog eller data. Valget af fortræningsmål (som maskeret sprogmodellering eller kausal sprogmodellering) har stor indflydelse på modellens evner og senere finjusteringsmuligheder. Det bruges i praksis ved træning af store sprogmodeller som GPT og BERT.
Oprindelse
Udtrykket er sammensat af 'fortræning' (pre-training) og 'mål' (objective/goal), og stammer fra forskning i selvovervåget læring inden for naturlig sprogbehandling.
Afledte ord
3Kilder
2- BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (2019)
- Improving Language Understanding by Generative Pre-Training (2018)