RoBERTa
forkortelse for Robustly optimized BERT approach
RoBERTa er en forbedret version af BERT, der optimerer træningsproceduren for bedre ydeevne.
Kort fortalt
En avanceret sprogmodel baseret på BERT, der er trænet længere og med flere data og uden Next Sentence Prediction.
- Kategori
- model
- Niveau
- øvet
- Udtale
- /roʊˈbɜːrtə/
Betydninger
1- 1
RoBERTa er en transformerbaseret sprogmodel, der er en videreudvikling af BERT. Den adskiller sig ved at fjerne Next Sentence Prediction (NSP) og i stedet bruge en dynamisk masking-strategi, større batch-størrelser, flere data og længere træning.
- Til tekstklassifikationsopgaven brugte vi en fortrænet RoBERTa-model.
- RoBERTa opnåede state-of-the-art-resultater på GLUE-benchmarken. — Liu et al., 2019
Hvornår bruges det
RoBERTa bruges i tekstklassifikation, spørgsmålsbesvarelse og andre NLP-opgaver, hvor man ønsker en mere robust BERT-model. Den er ofte førstevalg som basislinje.
Kodeeksempel
from transformers import RobertaTokenizer, RobertaForSequenceClassification
tokenizer = RobertaTokenizer.from_pretrained('roberta-base')
model = RobertaForSequenceClassification.from_pretrained('roberta-base')Indlæsning af en prætrænet RoBERTa-model til klassifikation.
Oprindelse
Navnet kommer af 'Robustly optimized BERT approach'. Modellen blev introduceret af Liu et al. i 2019.