regularisering
Regularisering er en teknik, der tilføjer en straf til modellens tabfunktion for at forhindre overfitting.
Kort fortalt
En metode til at gøre en AI-model mindre tilbøjelig til at huske støj i træningsdata og i stedet generalisere bedre.
- Kategori
- teknik
- Niveau
- øvet
Betydninger
1- 1
En teknik i maskinlæring, hvor en straf tilføjes tabfunktionen for at reducere modelkompleksitet og forbedre generalisering.
- L2-regularisering tilføjer en straf proportional med kvadratet af vægtenes størrelse.
- Uden regularisering vil en dyb neuralt netværk ofte overfitte på træningsdata.
Hvornår bruges det
Regularisering anvendes under træning af neurale netværk, f.eks. L1- og L2-regularisering, for at kontrollere modelkompleksitet og undgå overfitting. Det er især nyttigt, når antallet af parametre er stort i forhold til mængden af data.
Formel
L2-regularisering: L = L_0 + λ Σ w_i²Kodeeksempel
# L2-regularisering via weight_decay i PyTorch
optimizer = torch.optim.SGD(model.parameters(), lr=0.01, weight_decay=0.001)Eksempel på L2-regularisering ved at angive weight_decay i en optimizer.
Oprindelse
Fra latin 'regula' (regel) og 'regularisere' (gøre regelmæssig). Begrebet stammer fra matematisk regularisering (Tikhonov, 1963).
Afledte ord
3Kilder
1- Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press.