Self-paced curriculum learning
Self-paced curriculum learning er en træningsstrategi, der dynamisk ordner træningseksempler efter sværhedsgrad og gradvist inkluderer sværere eksempler baseret på modellens nuværende præstation.
Kort fortalt
En metode, hvor modellen selv bestemmer, hvilke data den skal lære fra først – fra lette til svære – og tilpasser sig efterhånden som den bliver bedre.
- Kategori
- træning
- Niveau
- øvet
Betydninger
1- 1
En metode, der dynamisk vælger en undergruppe af træningseksempler baseret på deres tabsværdi, og gradvist udvider denne undergruppe for at inkludere sværere eksempler som træningen skrider frem.
- Self-paced curriculum learning kan implementeres ved at anvende en tærskel på tabene, som stiger over epokerne. — faglitteratur, 2023
- Modellen trænes først på eksempler med lavt tab, og efterhånden som tærsklen øges, inkluderes flere højtabseksempler. — faglitteratur, 2023
Hvornår bruges det
Self-paced curriculum learning bruges især i computer vision og naturlig sprogbehandling, når der er stor variation i eksemplernes sværhedsgrad. Det kan forbedre generalisering og reducere overfitting ved at lade modellen fokusere på lette eksempler tidligt i træningen.
Kodeeksempel
def self_paced_curriculum_learning_loss(losses, threshold):
mask = losses < threshold
return (losses * mask).mean()En simpel implementation, hvor tab for eksempler med tab over tærsklen sættes til 0, så kun lette eksempler bidrager til gennemsnittet.
Oprindelse
Begrebet kombinerer 'curriculum learning' (Bengio et al., 2009), hvor eksempler præsenteres i en foruddefineret rækkefølge efter sværhedsgrad, og 'self-paced learning' (Kumar et al., 2010), hvor modellen selv vælger hvilke eksempler at lære fra.