loss-overflade
Den geometriske overflade, der beskriver værdien af tabsfunktionen over modellens parameterrum.
Kort fortalt
Et landskab, der viser hvor godt en model klarer sig for forskellige kombinationer af parameterværdier.
- Kategori
- begreb
- Niveau
- øvet
Betydninger
1- 1
Den kontinuerte overflade dannet af tabsfunktionens værdier over hele parameterrummet.
- Loss-overfladen for en dyb neuralt netværk er ofte ujævn med mange lokale minima. — Li et al., 2018
- Visualisering af loss-overfladen kan afsløre saddelpunkter, der hæmmer optimering. — Dauphin et al., 2014
Hvornår bruges det
Bruges til at analysere optimeringsudfordringer som lokale minima, saddelpunkter og dale, og til at visualisere træningsdynamik.
Oprindelse
Sammensat af 'loss' (tabsfunktion) og 'overflade' (surface) – et billede på den højdimensionelle geometri.
Kilder
2- Visualizing the Loss Landscape of Neural Nets
- On the Difficulty of Training Neural Networks with Nonconvex Objectives