encoder-only
En transformerarkitektur der kun består af encoder-delen, typisk brugt til repræsentationslæring og forståelsesopgaver.
Kort fortalt
Encoder-only modeller som BERT læser tekst i én retning for at forstå konteksten, og bruges til opgaver som tekstklassifikation og spørgsmålsbesvarelse.
- Kategori
- arkitektur
- Niveau
- øvet
Betydninger
1- 1
En transformerarkitektur der kun anvender encoder-delen, hvilket muliggør todimensionel (bidirektional) kontekstualisering af inputtet. Modellen lærer repræsentationer, der fanger kontekst fra både venstre og højre side af et token.
- BERT er den mest kendte encoder-only model, og den danner fundament for mange NLP-systemer.
- Encoder-only modeller er særligt velegnede til opgaver, der kræver en dyb forståelse af teksten, såsom semantisk rolleannotering.
Hvornår bruges det
Encoder-only arkitekturer anvendes primært til natural language understanding (NLU) opgaver, såsom tekstklassifikation, sentimentanalyse, named entity recognition og spørgsmålsbesvarelse. De trænes typisk med maskeret sprogmodellering (MLM) og næste-sætnings-forudsigelse.
Oprindelse
Begrebet opstod med introduktionen af transformerarkitekturen og behovet for at differentiere mellem encoder-only (f.eks. BERT), decoder-only (f.eks. GPT) og encoder-decoder (f.eks. T5) modeller.
Afledte ord
2Kilder
1- BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding