præ-træning
Præ-træning er den indledende fase i træningen af en maskinlæringsmodel, hvor modellen lærer fra et stort, generelt datasæt før den finjusteres til specifikke opgaver.
Kort fortalt
Kort fortalt: Præ-træning er når en model lærer grundlæggende mønstre og viden fra en masse data, så den bagefter lettere kan tilpasses en bestemt opgave.
- Kategori
- træning
- Niveau
- øvet
- Udtale
- /ˈpʁɛːˌtʁɛːneŋ/
Betydninger
2- 1
Selvovervåget præ-træning, hvor modellen lærer repræsentationer fra ustrukturerede data ved at løse hjælpeopgaver som at forudsige manglende ord eller næste sætning.
- GPT-3 blev præ-trænet med et selvovervåget mål om at forudsige det næste token i en tekst.
- BERT anvender masked language modeling som præ-træningsopgave.
- 2
Overvåget præ-træning, hvor modellen trænes på et stort mærket datasæt, typisk til klassifikation, for at lære generelle visuelle eller sproglige træk.
- ResNet-modeller præ-trænes ofte på ImageNet-datasættet med over én million billeder.
- Overvåget præ-træning er mindre almindelig i NLP, men bruges i nogle tilfælde med store mærkede korpusser.
Hvornår bruges det
Præ-træning bruges især inden for deep learning, fx til sprogmodeller som GPT og BERT, hvor modellen først lærer sprogforståelse fra enorme tekstmængder og derefter finjusteres til en specifik opgave. I computer vision bruges præ-trænede modeller som ResNet eller ViT, der er trænet på ImageNet.
Oprindelse
Sammensætning af præ- (fra latin 'præ', 'før') og træning. Begrebet blev udbredt med fremkomsten af transfer learning i 2010'erne.
Afledte ord
3Kilder
2- BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
- Improving Language Understanding by Generative Pre-Training