L1-regularization
Teknik der tilføjer en straf proportional med summen af de absolutte værdier af modelvægte for at fremme sparsommelighed.
Kort fortalt
En metode, der straffer store vægte for at gøre modellen enklere og undgå overfitting.
- Kategori
- teknik
- Niveau
- øvet
Betydninger
1- 1
Regulariseringsteknik, der tilføjer en straf af L1-normen af modelvægte til tabsfunktionen for at fremme en sparsom vægtfordeling.
- L1-regularisering blev anvendt for at opnå en sparsom model med kun få aktive features.
- Ved at tilføje L1-straf kan man tvinge mange vægte mod nul, hvilket forenkler modellen.
Hvornår bruges det
Bruges ofte i lineær regression (Lasso) og neurale netværk for at reducere antallet af aktive features, hvilket kan forbedre fortolkbarheden.
Formel
L1 = λ ∑|w_i|Kodeeksempel
from keras.regularizers import l1
model.add(Dense(64, kernel_regularizer=l1(0.01)))Eksempel på L1-regularisering i et neuralt netværk med Keras.
Oprindelse
Fra matematisk L1-norm (sum af absolutte værdier) brugt i regularisering.
Afledte ord
2Kilder
1- Regression Shrinkage and Selection via the Lasso (Tibshirani, 1996)