pre-training
Processen, hvor en model trænes på en stor generel datasæt for at lære grundlæggende repræsentationer, før den finjusteres til en specifik opgave.
Kort fortalt
Pre-training er den indledende træning af en AI-model på en bred vifte af data for at give den en generel forståelse, så den bagefter kan specialiseres.
- Kategori
- træning
- Niveau
- øvet
- Udtale
- /priːˈtreɪnɪŋ/
Betydninger
1- 1
Den indledende træningsfase for en maskinlæringsmodel, hvor den lærer generelle repræsentationer fra et stort, ofte ustruktureret datasæt, typisk ved hjælp af selvovervåget læring. Denne fase efterfølges af finjustering.
- GPT-3 blev præ-trænet på en stor mængde tekstdata fra internettet. — Language Models are Few-Shot Learners, 2020
- Pre-training af BERT sker ved at maskere ord i sætninger og forudsige dem. — BERT: Pre-training of Deep Bidirectional Transformers, 2019
Hvornår bruges det
Pre-training anvendes typisk i sprogmodeller som GPT og BERT, hvor modellen først trænes på enorme tekstdatasæt for at lære sprogstruktur. Derefter kan den finjusteres til specifikke opgaver som tekstklassifikation. Det sparer tid og data sammenlignet med at træne fra bunden.
Oprindelse
Termen kommer fra maskinlæring, hvor 'pre-' betyder før og 'training' refererer til træningsprocessen. Det blev populært med overførselslæring og store sprogmodeller.
Afledte ord
3Kilder
2- BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
- Language Models are Few-Shot Learners