prætrænet model
En model, der er trænet på en stor, generel datasæt for at lære grundlæggende repræsentationer, som derefter kan finjusteres til specifikke opgaver.
Kort fortalt
En prætrænet model er en AI-model, der allerede har lært generelle mønstre fra store mængder data, så du kan bruge den som udgangspunkt for din egen opgave uden at starte fra bunden.
- Kategori
- model
- Niveau
- begynder
Betydninger
1- 1
En model, der er blevet trænet på et stort, ofte generisk datasæt (f.eks. al tekst på internettet eller millioner af billeder) for at lære generelle repræsentationer, som kan overføres til andre opgaver.
- BERT er en prætrænet model, der kan finjusteres til spørgsmål-besvarelse. — Devlin et al., 2019
- Ved at bruge en prætrænet model som ResNet undgår man at træne et dybt netværk fra bunden. — He et al., 2016
Hvornår bruges det
Prætrænede modeller bruges i overførselslæring, hvor en model trænet på en stor opgave (f.eks. sprogmodellering på internettet) tilpasses en mindre, specifik opgave (f.eks. sentimentanalyse) gennem finjustering. Dette sparer tid og data, da modellen allerede har en forståelse af sprog eller billeder.
Kodeeksempel
from transformers import AutoModelForSequenceClassification, AutoTokenizer
model_name = "distilbert-base-uncased"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name, num_labels=2)Indlæsning af en prætrænet DistilBERT-model og tokenizer til klassifikation.
Oprindelse
Udtrykket er en direkte oversættelse af det engelske 'pretrained model', hvor 'prætrænet' betyder 'forudtrænet'.