Ridge regression
Ridge regression er en reguleringsteknik, der anvender L2-straf for at mindske overfitting i lineære regressionsmodeller.
Kort fortalt
Kort fortalt: En metode, der tilføjer en straf for store koefficienter for at forhindre modellen i at blive for kompleks og overtilpasse data.
- Kategori
- teknik
- Niveau
- øvet
- Udtale
- /rɪdʒ rɪˈɡrɛʃən/
Betydninger
1- 1
En reguleringsteknik for lineær regression, der tilføjer en L2-straf på koefficienternes størrelse for at mindske overfitting og håndtere multikollinearitet.
- Ridge regression anvendes ofte i genomik, hvor antallet af gener (prædiktorer) overstiger antallet af patientprøver.
- Ved at justere regulariseringsparameteren λ kan man kontrollere graden af straf i ridge regression.
Hvornår bruges det
Ridge regression bruges, når der er multikollinearitet mellem prædiktorvariabler, eller når antallet af prædiktorer er stort i forhold til antallet af observationer. Det er især nyttigt i lineære modeller, hvor man ønsker at stabilisere estimaterne.
Formel
β̂ = (XᵀX + λI)⁻¹XᵀyKodeeksempel
from sklearn.linear_model import Ridge
model = Ridge(alpha=1.0)
model.fit(X_train, y_train)
predictions = model.predict(X_test)Eksempel på brug af ridge regression med scikit-learn.
Oprindelse
Ridge regression blev introduceret af Hoerl og Kennard i 1970. Navnet 'ridge' refererer til den rygformede bane af de regulariserede estimater.
Afledte ord
3Kilder
2- Hoerl, A. E., & Kennard, R. W. (1970). Ridge Regression: Biased Estimation for Nonorthogonal Problems. Technometrics, 12(1), 55–67.
- Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning. Springer.