bias-varians-afvejning
Afvejningen mellem bias (systematisk fejl) og varians (følsomhed over for datasvingninger) i en model, hvor reduktion af den ene typisk øger den anden.
Kort fortalt
Bias-varians-afvejning handler om at finde den rette balance mellem en model, der er for simpel (høj bias) og en, der er for kompleks (høj varians).
- Kategori
- begreb
- Niveau
- øvet
Betydninger
1- 1
Den grundlæggende afvejning i overvåget læring, hvor modellens forventede testfejl kan dekomponeres i bias², varians og støj. En simpel model har høj bias, en kompleks model har høj varians.
- Ved at øge regulariseringsstyrken skubbes modellen mod højere bias, men variansen reduceres.
- En beslutningstræ med maksimal dybde har lav bias men høj varians, mens et trunkeret træ har højere bias men lavere varians.
Hvornår bruges det
Bias-varians-afvejning bruges til at diagnosticere og adressere overfitting og underfitting. Man justerer modelkompleksitet, regularisering eller datamængde for at opnå lav generaliseringsfejl.
Oprindelse
Begrebet stammer fra statistisk læringsteori og blev formaliseret af Geman, Bienenstock & Doursat (1992) i forbindelse med neurale netværk.
Kilder
2- Geman, S., Bienenstock, E., & Doursat, R. (1992). Neural Networks and the Bias/Variance Dilemma.
- Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning.