forudtrænet transformer-model
En transformer-model, der er blevet trænet på en stor mængde tekstdata for at lære generelle sprogmønstre, inden den eventuelt finjusteres til specifikke opgaver.
Kort fortalt
En forudtrænet transformer-model er en sprogmodel, der har lært sprogforståelse fra enorme tekstmængder og kan tilpasses til mange forskellige opgaver.
- Kategori
- model
- Niveau
- øvet
Betydninger
2- 1
En transformer-model, der er trænet på et stort, generelt korpus med selvovervåget læring, typisk med mål som maskeret sprogmodellering eller autoregressiv prediktion.
- BERT er en forudtrænet transformer-model, der blev trænet på BooksCorpus og Wikipedia. — Devlin et al., 2019
- Forudtrænede transformer-modeller har revolutioneret NLP ved at levere robuste repræsentationer, der kan overføres til mange opgaver.
- 2
En transformer-model, der distribueres efter prætræning og kan finjusteres med mindre data til specifikke opgaver, hvilket udnytter transfer learning.
- Ved at tage en forudtrænet transformer-model som GPT-3 og finjustere den på kundesupportdata kan man opnå høj ydeevne med få eksempler.
Hvornår bruges det
Forudtrænede transformer-modeller bruges som udgangspunkt for næsten alle moderne NLP-opgaver. De lastes typisk fra et bibliotek som Hugging Face Transformers og finjusteres på en specifik datasæt, hvilket sparer tid og data.
Kodeeksempel
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")
model = AutoModel.from_pretrained("bert-base-uncased")
inputs = tokenizer("Dette er en test.", return_tensors="pt")
outputs = model(**inputs)Eksempel på, hvordan man indlæser en forudtrænet transformer-model (BERT) med Hugging Face Transformers.
Oprindelse
Sammensat af 'forudtrænet' (trent før brug) og 'transformer-model' (arkitektur baseret på attention-mekanismen). Begrebet opstod med modeller som BERT og GPT.