L1-regularisering
L1-regularisering er en regulariseringsteknik, der tilføjer en straf proportional med summen af de absolutte værdier af modelparametrene for at fremme sparsomhed.
Kort fortalt
L1-regularisering tvinger nogle modelparametre til at blive nul, hvilket gør modellen enklere og mere fortolkelig.
- Kategori
- teknik
- Niveau
- øvet
Betydninger
1- 1
Tilføjelse af en straf proportional med L1-normen af modelparametrene til tabsfunktionen for at mindske overfitting og fremme sparsomhed.
- L1-regularisering anvendes i lasso-regression for at udvælge features automatisk. — Tibshirani, 1996
- I neurale netværk kan L1-regularisering føre til sparsomme vægte, hvilket forbedrer fortolkeligheden. — Goodfellow et al., 2016
Hvornår bruges det
L1-regularisering bruges især i lineære modeller som lasso-regression og i neurale netværk for at opnå sparsomme repræsentationer. Det er nyttigt, når man ønsker at reducere antallet af features eller vælge de vigtigste.
Formel
L1-straf = λ ∑|w_i|Kodeeksempel
from sklearn.linear_model import Lasso
model = Lasso(alpha=0.1)
model.fit(X_train, y_train)
print(model.coef_) # many coefficients will be zeroEksempel på brug af L1-regularisering via Lasso i scikit-learn. Alfa styrer regulariseringsstyrken.
Oprindelse
Termen refererer til L1-normen (sum af absolutte værdier) anvendt på modelvægtene. Regularisering blev formaliseret af Robert Tibshirani i 1996.
Afledte ord
2Kilder
2- Regression Shrinkage and Selection via the Lasso (Tibshirani, 1996)
- Deep Learning (Goodfellow et al., 2016)