encoder-only transformer
En transformerarkitektur der udelukkende består af encoderblokke, anvendt til at generere kontekstuelle repræsentationer af inputsekvenser, typisk til klassifikation eller forståelse.
Kort fortalt
En encoder-only transformer er en type AI-model, der læser inputtekst og laver en rig forståelse af den, f.eks. til at bestemme følelsen i en anmeldelse.
- Kategori
- arkitektur
- Niveau
- øvet
Betydninger
1- 1
En transformerarkitektur der udelukkende består af encoderblokke, designet til at producere kontekstuelle repræsentationer af inputdata, ofte brugt til forståelsesopgaver.
- BERT er en klassisk encoder-only transformer, der bruges til at klassificere tekster. — forskningsartikel, 2018
- Encoder-only transformere mangler en decoder, så de er ikke egnede til tekstgenerering, men udmærker sig i analyse. — lærebog, 2022
Hvornår bruges det
Encoder-only transformere bruges primært til naturligt sprogforståelse (NLU) som tekstklassifikation, entitetsgenkendelse og spørgsmålsbesvarelse. De er fundamentet for modeller som BERT og RoBERTa, hvor de prætrænes på store tekstkorpus og finjusteres til specifikke opgaver.
Kodeeksempel
from transformers import BertTokenizer, BertModel
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertModel.from_pretrained('bert-base-uncased')
inputs = tokenizer('Hello, world!', return_tensors='pt')
outputs = model(**inputs)
# outputs.last_hidden_state indeholder de kontekstuelle repræsentationerBrug af en encoder-only transformer (BERT) via Hugging Face Transformers til at få kontekstuelle embeddings.
Oprindelse
Udtrykket opstod efter introduktionen af transformerarkitekturen i 2017, for at skelne mellem fulde transformere (encoder-decoder) og varianter, der kun benytter encoderdelen. Encoder-only-modeller blev populære med BERT i 2018.