parameteropdateringsregel
Reglen der specificerer, hvordan en models parametre justeres baseret på gradienten af tabfunktionen under træning.
Kort fortalt
En formel der siger, hvor meget og i hvilken retning man skal ændre en models vægte for at mindske fejlen.
- Kategori
- træning
- Niveau
- øvet
Betydninger
1- 1
Den matematiske forskrift der bestemmer, hvordan modellens parametre ændres i hvert optimeringstrin, typisk baseret på gradienten af en tabsfunktion.
- I stokastisk gradient descent er parameteropdateringsreglen θ := θ - η∇L(θ). — Goodfellow et al., Deep Learning, 2016
- Adam-optimizeren har en mere avanceret parameteropdateringsregel med adaptive learning rates. — Kingma & Ba, Adam: A Method for Stochastic Optimization, 2015
Hvornår bruges det
Parameteropdateringsreglen anvendes i hvert trin af gradientbaseret optimering, f.eks. stokastisk gradient descent (SGD) eller Adam. Den kombinerer gradienten med hyperparametre som learning rate og momentum for at beregne parameterændringen.
Formel
θ_{t+1} = θ_t - η · ∇_θ L(θ_t)Kodeeksempel
def sgd_update(params, grads, lr):
for param, grad in zip(params, grads):
param -= lr * gradSimpel implementering af SGD-parameteropdateringsreglen i Python.
Oprindelse
Sammensat af 'parameter', 'opdatering' og 'regel'. Begrebet stammer fra optimeringsteori og maskinlæring, hvor iterative opdateringsregler som gradient descent danner grundlaget for træning.
Kilder
2- Goodfellow et al., Deep Learning, 2016
- Kingma & Ba, Adam: A Method for Stochastic Optimization, 2015