loss landscape
Det højdimensionelle landskab af tabsfunktionens værdier over modellens parameterrum.
Kort fortalt
En visualisering af, hvordan modellens fejl ændrer sig, når man justerer dens parametre.
- Kategori
- begreb
- Niveau
- øvet
- Udtale
- lɒs ˈlændskeɪp
Betydninger
1- 1
Det geometriske rum, hvor hver akseretning svarer til en modelparameter, og højden angiver tabsfunktionens værdi.
- Under træning bevæger optimeringsalgoritmen sig gennem loss landscape for at minimere fejlen.
- Et fladt loss landscape kan gøre træning langsom, da gradienterne er små.
Hvornår bruges det
Loss landscape bruges til at analysere optimeringsudfordringer som lokale minima, saddelpunkter og flade områder. Det hjælper med at forstå, hvorfor gradientbaserede metoder kan sidde fast eller finde gode løsninger.
Oprindelse
Termen er dannet af 'loss' (tab) og 'landscape' (landskab), med henvisning til den geometriske fremstilling af tabsfunktionen som et terræn.
Kilder
2- Deep Learning (Goodfellow, Bengio, Courville)
- Visualizing the Loss Landscape of Neural Nets (Li et al., 2018)