BERT-large
BERT-large er den store version af BERT-modellen med 340 millioner parametre, trænet på store mængder ustruktureret tekst.
Kort fortalt
En meget stor sprogmodel, der kan forstå kontekst i tekst og bruges til mange sprogopgaver som spørgsmål-svar og tekstklassifikation.
- Kategori
- model
- Niveau
- øvet
- Udtale
- bɜːrt lɑːrdʒ
Betydninger
1- 1
Den store variant af BERT-modellen med 340 millioner parametre, bestående af 24 transformatorlag og en skjult dimension på 1024.
- BERT-large opnår state-of-the-art resultater på flere NLP-benchmarks. — Devlin et al., 2019
- Finjustering af BERT-large kræver ofte en GPU med mindst 16 GB hukommelse. — Praktisk erfaring
Hvornår bruges det
BERT-large bruges typisk som udgangspunkt til finjustering på specifikke opgaver, da den giver høj præcision. Kræver betydelige computerressourcer.
Oprindelse
BERT står for Bidirectional Encoder Representations from Transformers; 'large' henviser til den store variant med 24 transformatorlag, 1024 skjulte enheder og 16 opmærksomhedshoveder.
Afledte ord
2Kilder
1- BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding