model calibration
Modelkalibrering er processen med at justere en models forudsagte sandsynligheder, så de afspejler den faktiske sandsynlighed for udfald.
Kort fortalt
Det handler om at gøre en models tillid til sine forudsigelser mere realistisk – så hvis modellen siger 80% sandsynlighed, så sker udfaldet faktisk 80% af gangene.
- Kategori
- begreb
- Niveau
- øvet
Betydninger
1- 1
Justering af en maskinlæringsmodel's forudsagte sandsynligheder, så de er statistisk konsistente med de observerede frekvenser.
- Efter kalibrering var modellens forudsigelser tæt på den ideelle diagonale linje i kalibreringskurven.
- Platt-scaling er en almindelig metode til at kalibrere support vector maskiner. — Niculescu-Mizil & Caruana, 2005
Hvornår bruges det
Modelkalibrering er vigtig i risikofølsomme applikationer som medicinsk diagnostik og finans, hvor sandsynligheder skal være pålidelige. Den vurderes typisk med kalibreringskurver og metrikker som Expected Calibration Error (ECE).
Formel
ECE = sum_{m=1}^{M} (|B_m|/n) |acc(B_m) - conf(B_m)|Kodeeksempel
from sklearn.calibration import calibration_curve
import matplotlib.pyplot as plt
prob_true, prob_pred = calibration_curve(y_test, y_prob, n_bins=10)
plt.plot(prob_pred, prob_true, marker='o')
plt.plot([0,1], [0,1], linestyle='--')
plt.xlabel('Mean predicted probability')
plt.ylabel('Fraction of positives')
plt.title('Calibration curve')
plt.show()Eksempel på at plotte en kalibreringskurve for en binær klassifikator ved hjælp af sklearn.
Oprindelse
Udtrykket stammer fra statistik og måleudstyr, hvor kalibrering betyder at justere et instrument til en standard. I maskinlæring overført til at justere modellens sandsynlighedsoutput.