forudtrænet sprogmodel
En sprogmodel der er trænet på en stor generel tekstmængde, typisk ved selvovervåget læring, for derefter at blive finjusteret til specifikke opgaver.
Kort fortalt
En forudtrænet sprogmodel er en model, der har lært sprogforståelse fra store mængder tekst, så den kan tilpasses til mange forskellige opgaver.
- Kategori
- model
- Niveau
- øvet
Betydninger
1- 1
En sprogmodel der er trænet på en stor, generel korpus (f.eks. al internettekst) ved brug af selvovervågede læringsmål, som maskeret sprogmodellering eller autovensiv prædiktion. Modellen lærer derved syntaktiske og semantiske repræsentationer, der kan overføres til efterfølgende opgaver.
- BERT er en forudtrænet sprogmodel, der bruges til tekstklassifikation og spørgsmål-besvarelse.
- Ved at starte med en forudtrænet sprogmodel reduceres behovet for store annoterede datasæt betydeligt.
Hvornår bruges det
Forudtrænede sprogmodeller anvendes som udgangspunkt for videre træning på specifikke domæner eller opgaver. De har revolutioneret NLP ved at muliggøre transfer learning, så man ikke behøver træne fra bunden.
Kodeeksempel
from transformers import AutoModel, AutoTokenizer
model = AutoModel.from_pretrained("bert-base-uncased")
tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")
inputs = tokenizer("Hello world", return_tensors="pt")
outputs = model(**inputs)Eksempel på indlæsning af en forudtrænet sprogmodel (BERT) ved hjælp af Hugging Face Transformers.
Oprindelse
Sammensat af 'forudtrænet' (præ-trænet) og 'sprogmodel' (model for sprog). Begrebet blev almindeligt med modeller som BERT (2018) og GPT (2018).
Afledte ord
3Kilder
2- BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (2019)
- Language Models are Few-Shot Learners (2020)