regression

1. 1

   Statistisk metode til at estimere sammenhængen mellem en afhængig variabel (output) og en eller flere uafhængige variable (features), ofte ved hjælp af mindste kvadraters metode.

   • Modellen bruger lineær regression til at forudsige pris baseret på kvadratmeter. — Eksempel
   • Regressionskoefficienten angiver ændringen i den afhængige variabel pr. enhedsændring i den uafhængige variabel. — Eksempel
2. 2

   I maskinlæring og deep learning: output-laget i et neuralt netværk, der forudsiger et kontinuert tal (f.eks. en lineær aktivering uden efterfølgende ikke-linearitet).

   • Netværkets sidste lag har en lineær aktiveringsfunktion, hvilket gør det til et regressionslag. — Eksempel

Regression anvendes inden for prædiktiv modellering, når outputtet er et kontinuert tal. I maskinlæring er lineær regression den enkleste form, men der findes mange varianter som polynomial regression, ridge regression og Lasso. Bruges bl.a. til økonomiske prognoser, medicinske risikovurderinger og tekniske forudsigelser.

y = w₁x₁ + w₂x₂ + ... + b
MSE = (1/n) Σ(yᵢ - ŷᵢ)²

from sklearn.linear_model import LinearRegression
import numpy as np

X = np.array([[1], [2], [3], [4]])
y = np.array([2, 4, 6, 8])
model = LinearRegression()
model.fit(X, y)
pred = model.predict([[5]])
print(pred)  # [10.]

Simpelt eksempel på lineær regression med scikit-learn, der forudsiger y = 2x.

Fra latin 'regressus' (tilbagegang), brugt af Francis Galton i 1800-tallet om fænomenet regression mod middelværdien.

• The Elements of Statistical Learning (Hastie et al., 2009)
• Pattern Recognition and Machine Learning (Bishop, 2006)