BERT-base
forkortelse for Bidirectional Encoder Representations from Transformers - base
BERT-base er en specifik konfiguration af BERT-modellen med 12 lag, 768 skjulte enheder og 12 opmærksomhedshoveder, hvilket giver cirka 110 millioner parametre.
Kort fortalt
BERT-base er den mest anvendte udgave af BERT, en sprogmodel, der kan forstå sammenhængen i tekst ved at kigge på ord fra begge sider.
- Kategori
- model
- Niveau
- øvet
Betydninger
1- 1
Den oprindelige BERT-base-model med 12 transformer-lag, 768 skjulte dimensioner, 12 opmærksomhedshoveder og 110 millioner parametre, trænet på BooksCorpus og Wikipedia.
- BERT-base opnåede state-of-the-art resultater på GLUE-benchmarken ved sin udgivelse. — Devlin et al., 2018
- Mange nyere modeller som RoBERTa og DistilBERT sammenlignes med BERT-base.
Hvornår bruges det
BERT-base bruges som udgangspunkt for fine-tuning på specifikke NLP-opgaver som tekstklassifikation, spørgsmål-besvarelse og navnegenkendelse. Den er standardreferencen for sammenligning af nyere modeller.
Kodeeksempel
from transformers import BertTokenizer, BertModel
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertModel.from_pretrained('bert-base-uncased')Indlæsning af BERT-base med Hugging Face Transformers.
Oprindelse
BERT står for 'Bidirectional Encoder Representations from Transformers'. 'Base' angiver den mindre konfiguration i forhold til BERT-large. Modellen blev introduceret af Google AI i 2018.