L2-regularisering
L2-regularisering er en regulariseringsteknik, der tilføjer en straf proportional med kvadratet af modelparametrenes værdi for at mindske overfitting.
Kort fortalt
Kort fortalt: En metode, der straffer store vægte i en model for at forhindre, at den bliver for specialiseret på træningsdata.
- Kategori
- teknik
- Niveau
- øvet
Betydninger
1- 1
En teknik, der tilføjer en straf til tabsfunktionen svarende til summen af kvadrerede parametervægte ganget med en regulariseringsparameter, for at begrænse modellens kompleksitet.
- For at undgå overfitting anvender vi L2-regularisering med λ = 0.01 i vores lineære regressionsmodel.
- I neurale netværk svarer weight decay ofte til L2-regularisering, når man bruger SGD.
Hvornår bruges det
L2-regularisering anvendes i træning af lineære modeller, neurale netværk og support vector masksiner. Det tilføjes til tabsfunktionen som en straf, der skaleres med en hyperparameter λ, og det hjælper med at holde vægtene små og fordele dem jævnt.
Formel
L = L_original + λ * Σ_i θ_i^2Kodeeksempel
import numpy as np
def l2_regularized_loss(X, y, theta, lambda_):
predictions = X.dot(theta)
error = predictions - y
mse = np.mean(error**2)
l2_penalty = lambda_ * np.sum(theta**2)
return mse + l2_penaltyEn tabsfunktion med L2-regularisering til lineær regression.
Oprindelse
Termen kommer fra matematikken, hvor L2-normen refererer til den euklidiske norm (kvadratrod af summen af kvadrater). Regularisering henviser til at gøre modellen mere regulær/stabil.