BERT
forkortelse for Bidirectional Encoder Representations from Transformers
BERT er en præ-trænet transformermodel, der bruger bidirektionel kontekst til at lære dybe ordrepræsentationer.
Kort fortalt
BERT er en sprogmodel, der læser tekst både fra venstre mod højre og højre mod venstre for at forstå konteksten bedre.
- Kategori
- model
- Niveau
- øvet
- Udtale
- [bɜːrt]
Betydninger
1- 1
En præ-trænet transformermodel med bidirektionel kontekstforståelse, der bruges til en lang række NLP-opgaver.
- BERT opnåede state-of-the-art resultater på GLUE-benchmarken ved at udnytte maskeret sprogmodellering og næste-sætnings-forudsigelse. — Devlin et al., 2019
- Mange moderne NLP-systemer bruger BERT som basis for fine-tuning på domænespecifikke data.
Hvornår bruges det
BERT anvendes typisk som et fundament for fine-tuning til specifikke NLP-opgaver som tekstklassifikation, spørgsmålsbesvarelse og navneentitetsgenkendelse. Modellen har været banebrydende for overførselslæring inden for NLP.
Kodeeksempel
from transformers import BertTokenizer, BertModel
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertModel.from_pretrained('bert-base-uncased')
inputs = tokenizer('Hello, my dog is cute', return_tensors='pt')
outputs = model(**inputs)Eksempel på, hvordan man indlæser BERT-modellen og tokenizeren fra Hugging Face Transformers.
Oprindelse
Akronym for 'Bidirectional Encoder Representations from Transformers'. Introduceret af Google AI i 2018.