parameteropdateringsalgoritme
En algoritme, der opdaterer en models parametre baseret på gradienten af tabsfunktionen for at minimere fejlen.
Kort fortalt
En parameteropdateringsalgoritme er den metode, der bruges til at justere vægtene i en neuralt netværk under træning, så modellen bliver bedre til sine opgaver.
- Kategori
- træning
- Niveau
- øvet
Betydninger
1- 1
En procedure, der beregner nye værdier for modelparametre ved hjælp af gradientinformation, typisk med en indlæringshastighed og eventuelle momentum- eller adaptionsled.
- Adam er en populær parameteropdateringsalgoritme, der kombinerer momentum med adaptiv indlæringshastighed. — Deep Learning, Goodfellow et al., 2016
- Under træning af en transformer bruges en parameteropdateringsalgoritme som SGD med warm-up. — Vaswani et al., 2017
Hvornår bruges det
Parameteropdateringsalgoritmer anvendes i alle former for gradient-baseret optimering, fra simpel stokastisk gradient descent til adaptive metoder som Adam. Valget af algoritme påvirker træningshastighed, konvergens og endelig modelkvalitet.
Oprindelse
Sammensat af 'parameter', 'opdatering' og 'algoritme', fra græsk 'para' (ved siden af) + 'metron' (mål) + tysk 'Aktualisierung' (opdatering) + arabisk 'al-ḵwārizmī' (matematiker).
Afledte ord
2Kilder
2- Deep Learning
- Adam: A Method for Stochastic Optimization (Kingma & Ba, 2014)