Forudtræning
Forudtræning er en teknik, hvor en model først trænes på en stor, generel datasæt for at lære bredrepræsentationer, før den finjusteres på en specifik opgave.
Kort fortalt
Forudtræning betyder at en AI-model lærer grundlæggende mønstre fra en stor mængde data, så den bagefter lettere kan lære en specifik opgave.
- Kategori
- teknik
- Niveau
- begynder
Betydninger
1- 1
Fase i maskinlæring, hvor en model trænes på en stor og ofte generel data for at opnå nyttige repræsentationer, som kan overføres til en efterfølgende specifik opgave.
- Forudtræning af BERT på en stor tekstkorpus muliggør effektiv fine-tuning på en lang række NLP-opgaver.
- Mange moderne AI-systemer anvender forudtræning for at forbedre generaliseringsevnen.
Hvornår bruges det
Forudtræning bruges typisk i sprogmodeller (fx BERT, GPT) og billedgenkendelse (fx ImageNet-forudtræning). Modellen trænes først på uhjælpede data (unsupervised) eller selvovervåget, og derefter tilpasses den en specifik opgave med finjustering. Dette sparer tid og data.
Kodeeksempel
from transformers import AutoModelForMaskedLM, AutoTokenizer
model_name = "bert-base-uncased"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForMaskedLM.from_pretrained(model_name)
# Modellen er nu forudtrænet og klar til fine-tuningIndlæsning af en forudtrænet BERT-model ved hjælp af Hugging Face Transformers. Modellen er allerede forudtrænet på en stor tekstkorpus og kan derefter finjusteres.
Oprindelse
Dannet af 'forud' (før) og 'træning' (training). Begrebet blev almindeligt i maskinlæring med fremkomsten af transfer learning.
Afledte ord
2Kilder
2- BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (2019)
- Improving Language Understanding by Generative Pre-Training (2018)