Fortræning
Fortræning er den indledende træningsfase, hvor en model lærer generelle repræsentationer fra store mængder umærkede data.
Kort fortalt
En model trænes først på en stor mængde data uden specifikke opgaver, så den lærer grundlæggende sprog- eller mønsterforståelse.
- Kategori
- træning
- Niveau
- øvet
Betydninger
1- 1
Den indledende fase i træningen af en maskinlæringsmodel, hvor modellen lærer generelle repræsentationer ved at blive trænet på store mængder ofte umærkede data, typisk med et selvovervåget læringsmål.
- Fortræning af GPT-3 foregik på et datasæt med flere hundrede milliarder ord fra internettet. — OpenAI, 2020
- Mange moderne sprogmodeller bruger fortræning efterfulgt af finjustering til specifikke opgaver.
Hvornår bruges det
Fortræning bruges typisk efterfulgt af finjustering. Modellen prætrænes på en stor generel korpus, fx tekst fra internettet, og tilpasses derefter en specifik opgave med mindre mængder mærkede data.
Kodeeksempel
from transformers import AutoModel
model = AutoModel.from_pretrained('bert-base-uncased')Indlæsning af en prætrænet BERT-model fra Hugging Face.
Oprindelse
Dannet af 'for-' (før) og 'træning' efter engelsk 'pretraining'.
Afledte ord
2Kilder
2- BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (Devlin et al., 2018)
- Improving Language Understanding by Generative Pre-Training (Radford et al., 2018)