parameteropdatering

1. 1

   Justering af en models vægte i henhold til en optimeringsalgoritme for at reducere tabsfunktionen.

   • Under træningen foretages en parameteropdatering efter hver batch.

Parameteropdatering anvendes i hvert trin af gradient descent, hvor gradienten af tabsfunktionen med hensyn til parametrene beregnes og bruges til at opdatere vægtene. Den specifikke opdateringsregel varierer afhængigt af optimeringsalgoritmen, såsom SGD, Adam eller RMSprop.

θ ← θ - η ∇_θ L(θ)

for param in model.parameters():
    param.data -= lr * param.grad

Eksempel på manuel parameteropdatering med SGD.

Sammensat af 'parameter' (fra græsk 'para' (ved siden af) og 'metron' (mål)) og 'opdatering' (fra engelsk 'update' med dansk endelse).

• Goodfellow et al., Deep Learning (2016)