forudtrænet transformer
En transformer-baseret sprogmodel der er blevet forudtrænet på et stort korpus og efterfølgende finjusteres til specifikke NLP-opgaver.
Kort fortalt
En transformer-model der er trænet på store mængder tekstdata for at lære sprogforståelse, og derefter tilpasses specifikke opgaver.
- Kategori
- model
- Niveau
- øvet
- Udtale
- fɒːʊðˌtʁɛːnət tʁɑnsˈfɒːmʌ
Betydninger
1- 1
En transformer-model der er blevet forudtrænet på et stort, generelt tekstkorpus for at lære sproglige repræsentationer, og som kan finjusteres til en specifik opgave.
- BERT er en populær forudtrænet transformer, der kan finjusteres til tekstklassifikation. — Devlin et al., 2019
- Ved at tage en forudtrænet transformer og finjustere den på en lille mængde data, opnås ofte imponerende resultater.
Hvornår bruges det
Forudtrænede transformere bruges bredt inden for naturlig sprogbehandling. De lader udviklere og forskere anvende state-of-the-art modeller uden at skulle træne fra bunden, hvilket sparer tid og ressourcer.
Kodeeksempel
from transformers import AutoTokenizer, AutoModelForSequenceClassification
tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")
model = AutoModelForSequenceClassification.from_pretrained("bert-base-uncased")
inputs = tokenizer("Dette er en test.", return_tensors="pt")
outputs = model(**inputs)Eksempel på indlæsning af en forudtrænet BERT-model til tekstklassifikation ved hjælp af Hugging Face Transformers.
Oprindelse
Sammensat af 'forudtrænet' (fra 'forud' og 'trænet') og 'transformer', en arkitektur introduceret i artiklen 'Attention Is All You Need' (2017).