gradientnedstigning

1. 1

   En iterativ optimeringsalgoritme, der minimerer en differentierbar funktion ved at tage skridt proportionalt med den negative gradient i hvert punkt.

   • Gradientnedstigning bruges til at træne en lineær regressionsmodel ved at minimere den gennemsnitlige kvadratfejl.
   • Uden en passende indlæringshastighed kan gradientnedstigning divergere eller konvergere langsomt.

Gradientnedstigning er fundamental i træning af neurale netværk, hvor den justerer vægtene for at minimere tabsfunktionen. Den findes i varianter som batch, stokastisk og mini-batch gradientnedstigning.

θ_{t+1} = θ_t - η ∇_θ J(θ_t)

def gradient_descent(gradient, start, learn_rate, n_iter):
    vector = start
    for _ in range(n_iter):
        vector -= learn_rate * gradient(vector)
    return vector

En simpel implementering af gradientnedstigning, der tager en gradientfunktion, startværdi, indlæringshastighed og antal iterationer.

Sammensat af 'gradient' (hældning) og 'nedstigning' (bevægelse nedad), direkte oversat fra engelsk 'gradient descent'.

• Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press.
• Robbins, H., & Monro, S. (1951). A Stochastic Approximation Method. The Annals of Mathematical Statistics.