fortræningsfase
Den indledende træning af en maskinlæringsmodel på et stort, ofte ikke-annoteret datasæt for at lære generelle repræsentationer.
Kort fortalt
Fasen hvor en model lærer grundlæggende mønstre fra store mængder data, inden den finjusteres til en specifik opgave.
- Kategori
- begreb
- Niveau
- øvet
Betydninger
1- 1
Den del af træningsprocessen for en neural netværksmodel, hvor den lærer generelle repræsentationer fra et stort, ofte ikke-annoteret datasæt, typisk ved hjælp af selvsupervised learning.
- I fortræningsfasen af GPT-3 blev modellen trænet på hundreder af milliarder af ord fra internettet. — Brown et al., 2020
- BERT's fortræningsfase inkluderer to opgaver: maskeret sprogmodellering og næste-sætnings-forudsigelse. — Devlin et al., 2019
Hvornår bruges det
Fortræningsfasen anvendes typisk i selvsupervised learning, fx ved BERT og GPT, hvor modellen trænes på store tekstkorpus med opgaver som maskeret sprogmodellering eller næste-ord-forudsigelse. Efter fortræning kan modellen overføres til en lang række nedstrømsopgaver via finjustering.
Oprindelse
Dannet af 'for-' (før) + 'træning' og 'fase', efter engelsk 'pre-training phase'.
Kilder
2- BERT: Pre-training of Deep Bidirectional Transformers
- Language Models are Few-Shot Learners (GPT-3)