iterationsbaseret optimering
En optimeringsmetode der gentagne gange opdaterer parametre baseret på en fejlfunktions gradient for at minimere fejlen.
Kort fortalt
En måde at finde den bedste løsning ved at tage små gentagne skridt i den rigtige retning.
- Kategori
- teknik
- Niveau
- øvet
Betydninger
1- 1
En klasse af optimeringsalgoritmer, der forbedrer en løsning iterativt ved at anvende gentagne opdateringer baseret på information fra tidligere trin.
- Neurale netværk trænes typisk ved hjælp af iterationsbaseret optimering, f.eks. stokastisk gradient descent.
Hvornår bruges det
Bruges i træning af maskinlæringsmodeller, hvor parametre justeres tusindvis af gange for at reducere tab.
Formel
θ_{t+1} = θ_t - η ∇L(θ_t)Kodeeksempel
def gradient_descent(gradient, start, lr, n_iter):
params = start
for i in range(n_iter):
params -= lr * gradient(params)
return paramsSimpel gradient descent-implementering i Python.
Oprindelse
Sammensat af 'iteration' (gentagelse), 'baseret' og 'optimering' (optimering).
Afledte ord
1Kilder
1- Deep Learning (Goodfellow, Bengio, Courville)