interpretabilitetsværktøj
Værktøj der bruges til at analysere og visualisere, hvordan en AI-model træffer beslutninger.
Kort fortalt
Interpretabilitetsværktøjer hjælper dig med at se, hvad din AI-model kigger på, når den siger ja eller nej.
- Kategori
- teknik
- Niveau
- øvet
Betydninger
1- 1
Software- eller biblioteksbaseret værktøj der gør det muligt at fortolke output fra en AI-model, herunder forklaring af specifikke forudsigelser eller generel modeladfærd.
- Med interpretabilitetsværktøjet SHAP kan man se, hvilke features der bidrager mest til en given forudsigelse. — Lundberg & Lee, 'A Unified Approach to Interpreting Model Predictions', 2017
- Grad-CAM er et interpretabilitetsværktøj, der visualiserer, hvilke områder af et billede en CNN fokuserer på. — Selvaraju et al., 'Grad-CAM: Visual Explanations from Deep Networks', 2017
Hvornår bruges det
Anvendes under modeludvikling og -evaluering for at opdage bias, fejl eller uventet adfærd. Eksempler inkluderer LIME, SHAP og Grad-CAM til synlige modeller.
Kodeeksempel
import shap
explainer = shap.Explainer(model, X_train)
shap_values = explainer(X_test[:5])
shap.plots.waterfall(shap_values[0])Eksempel på brug af SHAP til at forklare en enkelt forudsigelse.
Oprindelse
Sammensat af 'interpretabilitet' (forklarlighed) og 'værktøj', med indflydelse fra feltet explainable AI.
Kilder
3- Lundberg, S. M., & Lee, S. I. (2017). A Unified Approach to Interpreting Model Predictions. NeurIPS.
- Selvaraju, R. R., et al. (2017). Grad-CAM: Visual Explanations from Deep Networks. ICCV.
- Molnar, C. (2022). Interpretable Machine Learning. Leanpub.