Pretraining
Prætræning (pretraining) er en træningsfase hvor en maskinlæringsmodel først trænes på en stor, generel datasæt, typisk uden opsyn eller med selvovervågning, for at lære generelle repræsentationer, efterfulgt af finjustering på en specifik opgave.
Kort fortalt
Kort fortalt: Prætræning er når man træner en model på en masse generel data, så den lærer grundlæggende mønstre, og derefter tilpasser den til en konkret opgave.
- Kategori
- teknik
- Niveau
- øvet
Betydninger
1- 1
Den indledende træningsfase i en to-trins læringsproces, hvor en model eksponeres for store mængder generelle data for at indlære fundamentale repræsentationer, inden den finjusteres til en specifik opgave. Prætræning kan være selvlært (self-supervised) eller uovervåget og udgør grundlaget for transfer learning i deep learning.
- BERT blev prætrænet på BooksCorpus og Wikipedia ved hjælp af maskeret sprogmodellering og næste-sætnings-forudsigelse. — Devlin et al., 2019
- GPT-3 er et eksempel på en stor sprogmodel, der er prætrænet på et bredt udvalg af internettekster. — Brown et al., 2020
Hvornår bruges det
Prætræning anvendes især inden for naturlig sprogbehandling og computer vision, hvor store modeller som BERT og GPT først prætrænes på enorme tekstkorpus, hvorefter de finjusteres til specifikke opgaver som tekstklassifikation eller spørgsmålbesvarelse. Teknikken muliggør effektiv overførsel af lært viden og reducerer behovet for store mængder opgavespecifikke data.
Oprindelse
Fra engelsk 'pre-' (før) og 'training' (træning).