Regularization
Regularization er en teknik, der tilføjer en straf til modellens tabsfunktion for at forhindre overfitting ved at begrænse modellens kompleksitet.
Kort fortalt
Regularization hjælper en model med at generalisere bedre ved at gøre den enklere og undgå at lære støj.
- Kategori
- teknik
- Niveau
- øvet
- Udtale
- ˌɹɛɡjʊləɹaɪˈzeɪʃən
Betydninger
1- 1
Teknik der pålægger en begrænsning på modellens parametre under træning for at forbedre generalisering og undgå overfitting.
- L2-regularization tilføjer en kvadratisk straf til tabsfunktionen for at holde vægtene små. — Deep Learning, Goodfellow et al., 2016
- Dropout er en form for regularization, der tilfældigt deaktiverer neuroner under træning. — Dropout: A Simple Way to Prevent Neural Networks from Overfitting, Srivastava et al., 2014
Hvornår bruges det
Regularization bruges typisk under træning af neurale netværk og lineære modeller for at reducere overfitting. Det er især nyttigt når antallet af parametre er stort i forhold til mængden af træningsdata.
Kodeeksempel
from sklearn.linear_model import LogisticRegression
model = LogisticRegression(penalty='l2', C=1.0) # C er invers regulariseringsstyrkeEksempel på L2-regularization i scikit-learn's logistisk regression.
Oprindelse
Fra latin 'regula' (regel) og 'regularis' (regelmæssig), via engelsk 'regularization'.
Afledte ord
5Kilder
2- Deep Learning, Goodfellow, Bengio, Courville (2016)
- Dropout: A Simple Way to Prevent Neural Networks from Overfitting, Srivastava et al. (2014)