contrastive learning
En selvovervåget læringsmetode, hvor en model lærer repræsentationer ved at trække lignende eksempler tættere sammen og skubbe forskellige eksempler fra hinanden.
Kort fortalt
Kort fortalt er contrastive learning en måde at lære, hvad der er ens og forskelligt i data, uden at have labels.
- Kategori
- teknik
- Niveau
- øvet
Betydninger
1- 1
En læringsteknik inden for maskinlæring, hvor målet er at lære en indlejringsrepræsentation, så positive par (lignende) er tætte og negative par (forskellige) er langt fra hinanden i repræsentationsrummet.
- SimCLR anvender contrastive learning til at lære visuelle repræsentationer uden labels. — Chen et al., 2020
- Contrastive learning er grundlaget for mange moderne sprogmodellers prætræning. — Gao et al., 2021
Hvornår bruges det
Bruges især til at lære gode repræsentationer fra ustrukturerede data som billeder, lyd og tekst, ofte i selvovervågede eller halvovervågede scenarier. Typisk i forbindelse med arkitekturer som SimCLR, MoCo og CLIP.
Formel
L_contrastive = -log( exp(sim(z_i, z_j)/τ) / Σ_{k≠i} exp(sim(z_i, z_k)/τ) )Oprindelse
Stammer fra ideen om at lære ved at sammenligne par af eksempler, populært af Hadsell, Chopra og LeCun (2006) og senere udviklet i selvovervåget læring.
Afledte ord
2Kilder
1- Dimensionality Reduction by Learning an Invariant Mapping (Hadsell et al., 2006)