masked language modeling
Masked language modeling er en selvovervåget træningsmetode, hvor en model forudsiger tilfældigt maskerede tokens i en tekst baseret på konteksten.
Kort fortalt
Kort fortalt: Modellen lærer sprog ved at gætte manglende ord i en sætning, ligesom et 'fyld-i-hullet'-spil.
- Kategori
- træning
- Niveau
- øvet
- Udtale
- ˈmæskt ˈlæŋɡwɪdʒ ˈmɒdəlɪŋ
Betydninger
1- 1
En træningsopgave i naturlig sprogbehandling, hvor en del af inputtokens tilfældigt maskeres (skjules), og modellen skal forudsige de maskerede tokens baseret på den omgivende kontekst.
- BERT blev præ-trænet ved hjælp af masked language modeling på en stor mængde ustruktureret tekst. — Devlin et al., 2018
- I masked language modeling maskeres typisk 15% af tokens tilfældigt.
Hvornår bruges det
Masked language modeling anvendes primært til præ-træning af transformer-baserede sprogmodeller som BERT. Under træning maskeres en procentdel (typisk 15%) af tokens i input, og modellen trænes til at forudsige de maskerede tokens ud fra den omgivende kontekst. Dette giver modellen en dyb forståelse af både venstre og højre kontekst (bidirektionel).
Kodeeksempel
from transformers import pipeline
unmasker = pipeline('fill-mask', model='bert-base-uncased')
result = unmasker("The capital of France is [MASK].")
print(result[0]['token_str']) # 'paris'Eksempel på brug af en fortrænet BERT-model til at forudsige et maskeret ord.
Oprindelse
Termen stammer fra naturlig sprogbehandling og blev populær med introduktionen af BERT-modellen i 2018. 'Masked' refererer til at skjule nogle ord, og 'language modeling' er opgaven at forudsige sprog.