batch gradient descent

1. 1

   Batch gradient descent er en optimeringsalgoritme, der opdaterer modelparametrene ved at beregne gradienten af tabsfunktionen over hele træningsdatasættet.

   • I batch gradient descent beregnes gradienten over alle 10.000 træningseksempler, før parametrene opdateres.
   • Batch gradient descent kan være langsom for store datasæt, da hver iteration kræver en fuld gennemgang af data.

Batch gradient descent bruges typisk til små til mellemstore datasæt, hvor det er beregningsmæssigt overkommeligt at beregne gradienten over alle data. Det giver stabile opdateringer, men kan være langsom for store datasæt.

import numpy as np

def batch_gradient_descent(X, y, theta, learning_rate, num_iters):
    m = len(y)
    for i in range(num_iters):
        gradient = (1/m) * X.T @ (X @ theta - y)
        theta -= learning_rate * gradient
    return theta

Implementering af batch gradient descent til lineær regression.

Betegnelsen batch gradient descent stammer fra, at den behandler hele datasættet som en 'batch' i hver iteration.

• Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning.
• Ruder, S. (2016). An overview of gradient descent optimization algorithms.