encoder-only model
En transformer-baseret model bestående udelukkende af encoder-stakken, som genererer en kontekstafhængig repræsentation af inputsekvensen.
Kort fortalt
En model der kun bruger enkoderdelen af transformeren, typisk til at forstå og klassificere tekst.
- Kategori
- arkitektur
- Niveau
- øvet
Betydninger
1- 1
En transformerarkitektur bestående af flere encoderlag, der anvender selvopmærksomhed til at skabe en kontekstualiseret repræsentation af inputsekvensen, typisk brugt til forståelsesopgaver.
- BERT er en populær encoder-only model, der har opnået state-of-the-art resultater på mange NLP-opgaver.
Hvornår bruges det
Encoder-only modeller som BERT bruges til opgaver som tekstklassifikation, navnegenkendelse og spørgsmålsbesvarelse, hvor hele inputsekvensen skal forstås.
Kodeeksempel
from transformers import BertModel, BertTokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertModel.from_pretrained('bert-base-uncased')
inputs = tokenizer("Hello, world!", return_tensors="pt")
outputs = model(**inputs)
last_hidden_state = outputs.last_hidden_stateEksempel på indlæsning af BERT (en encoder-only model) og anvendelse på en tekst.
Oprindelse
Betegnelsen kommer fra transformerarkitekturen, hvor 'encoder' refererer til den del, der behandler inputtet, og 'only' angiver fraværet af en decoder.
Afledte ord
3Kilder
2- Attention Is All You Need (Vaswani et al., 2017)
- BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (Devlin et al., 2019)