selvovervåget fortræning
En træningsmetode hvor en model lærer repræsentationer fra ustrukturerede data ved at konstruere og løse en selvdefineret prædiktiv opgave.
Kort fortalt
Modellen lærer af data uden labels ved at forudsige dele af inputtet ud fra andre dele.
- Kategori
- teknik
- Niveau
- øvet
Betydninger
1- 1
En repræsentationsindlæringsmetode hvor en model først trænes på en opgave, der udnytter strukturen i ustrukturerede data (fx tekst eller billeder) til at lære meningsfulde repræsentationer uden manuelle labels.
- BERT er en sprogmodel, der anvender selvovervåget fortræning ved at forudsige maskerede ord. — Devlin et al., 2019
- SimCLR anvender kontrastiv læring til selvovervåget fortræning af billedrepræsentationer. — Chen et al., 2020
Hvornår bruges det
Selvovervåget fortræning anvendes i vid udstrækning i sprogmodeller (fx BERT, GPT) og billedmodeller (fx SimCLR) til at udnytte store mængder uannoterede data. Efter fortræningen finjusteres modellen typisk på en specifik opgave med mindre datasæt.
Oprindelse
Fra engelsk 'self-supervised pretraining'. 'Selvovervåget' betyder at modellen selv genererer overvågningssignaler (labels) fra data.