maskeret sprogmodellering
En træningsteknik, hvor en del af tokens i en inputsekvens skjules, og modellen trænes til at forudsige de maskerede tokens baseret på konteksten.
Kort fortalt
En metode til at træne sprogmodeller, hvor nogle ord gemmes, og modellen lærer at gætte dem ud fra de omkringliggende ord.
- Kategori
- teknik
- Niveau
- øvet
Betydninger
1- 1
Træningsmetode inden for naturlig sprogbehandling, hvor en andel af tokens i en tekstsekvens tilfældigt skjules, og modellen trænes til at rekonstruere dem ved at lære kontekstuelle repræsentationer.
- BERT blev trænet ved hjælp af maskeret sprogmodellering på store korpora. — Devlin et al., 2019
- I maskeret sprogmodellering forudsiges det maskerede token baseret på både venstre og højre kontekst.
Hvornår bruges det
Maskeret sprogmodellering bruges primært til præ-træning af sprogmodeller som BERT. Under træning erstattes tilfældigt udvalgte tokens med et [MASK]-token, og modellen skal forudsige det originale token. Denne teknik gør det muligt for modellen at lære bidirektionel kontekst.
Oprindelse
Termen kommer fra 'maskeret' (at skjule) og 'sprogmodellering' (modellering af sprog). Teknikken blev populariseret af BERT-modellen i 2018.
Kilder
1- BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding