Elastic Net-regularisering

Elastic Net-regularisering er en kombination af L1- og L2-regulering, der både kan udvælge variable og håndtere multikollinearitet.

Kort fortalt

En teknik der tilføjer en straf til modellen for at undgå overfitting, ved at kombinere Lasso (L1) og Ridge (L2) straf.

Kategori
teknik
Niveau
øvet

Betydninger

1
  1. 1

    Reguleringsteknik i lineær regression, der tilføjer en straf bestående af en lineær kombination af L1- og L2-normen af koefficienterne.

    • I en Elastic Net-model med α=0.5 og λ=0.1 straffes modellen for både store og mange koefficienter.

Hvornår bruges det

Bruges i lineær regression og generaliserede lineære modeller, når man både ønsker variabelselektion (som i Lasso) og håndtering af korrelerede variable (som i Ridge). Den er især nyttig, når antallet af variable er større end antallet af observationer.

Formel

L(β) = min_β { 1/2n ||y - Xβ||^2 + λ (α||β||_1 + (1-α)/2 ||β||_2^2) }

Kodeeksempel

from sklearn.linear_model import ElasticNet
model = ElasticNet(alpha=0.1, l1_ratio=0.5)
model.fit(X_train, y_train)

Eksempel på brug af Elastic Net i scikit-learn med α=0.1 og blandingsforhold l1_ratio=0.5.

Oprindelse

Termen 'Elastic Net' refererer til en elastisk netværkslignende straf, der kombinerer L1- og L2-strafled.

Afledte ord

1

Kilder

1
  • Regularization and Variable Selection via the Elastic Net