Self-supervised learning
Self-supervised learning er en maskinlæringsmetode, hvor modellen lærer repræsentationer fra umærkede data ved at udnytte strukturen i dataene selv til at generere et overvågningssignal.
Kort fortalt
Self-supervised learning lader en AI lære fra data uden menneskelige labels, ved at lade modellen forudsige dele af inputtet baseret på andre dele.
- Kategori
- træning
- Niveau
- øvet
Betydninger
1- 1
En maskinlæringsmetode, hvor modellen genererer et overvågningssignal fra de umærkede data selv, typisk ved at forudsige en del af dataene baseret på en anden del, hvilket muliggør læring af nyttige repræsentationer uden manuelle labels.
- BERT er en model, der bruger self-supervised learning ved at forudsige maskerede ord i en sætning. — Devlin et al., 2019
- SimCLR lærer billedrepræsentationer ved at maksimere lighed mellem augmenterede versioner af samme billede. — Chen et al., 2020
Hvornår bruges det
Self-supervised learning bruges især til at prætræne store modeller på store mængder umærkede data, fx tekst (som BERT) eller billeder. Det er en central teknik inden for moderne deep learning, fordi den reducerer afhængigheden af manuelt annoterede datasæt. Efter prætræning kan modellen finjusteres til specifikke opgaver med få labels.
Oprindelse
Udtrykket 'selvovervåget læring' opstod omkring 2010'erne som en videreudvikling af unsupervised learning, med fokus på at skabe et overvågningssignal fra dataene selv.