Forklarlighedsværktøj
Et værktøj der genererer forklaringer på, hvordan en AI-model når frem til en given beslutning eller forudsigelse.
Kort fortalt
Forklarlighedsværktøjer hjælper dig med at forstå, hvorfor en AI traf en bestemt beslutning – som når en læge vil vide, hvorfor en diagnose-model sagde 'kræft'.
- Kategori
- værktøj
- Niveau
- begynder
Betydninger
1- 1
Software eller bibliotek der anvender teknikker som feature-attribution, kontrafaktiske forklaringer eller visualisering til at gøre en AI-models beslutningsproces forståelig for mennesker.
- LIME er et populært forklarlighedsværktøj der approksimerer en models lokale opførsel med en simpel lineær model. — Ribeiro et al., 2016
- Banken implementerede et forklarlighedsværktøj for at kunne begrunde afslag på låneansøgninger.
Hvornår bruges det
Forklarlighedsværktøjer bruges typisk i regulerede brancher (sundhed, finans) for at opfylde krav om gennemsigtighed, eller af udviklere der fejlsøger deres modeller. Eksempler er SHAP, LIME og Grad-CAM.
Kodeeksempel
import lime
import lime.lime_tabular
explainer = lime.lime_tabular.LimeTabularExplainer(
training_data=X_train,
feature_names=feature_names,
class_names=['benign', 'malignant'],
mode='classification'
)
exp = explainer.explain_instance(X_test[0], model.predict_proba)
exp.show_in_notebook(show_table=True)Eksempel på brug af LIME til at forklare en enkelt forudsigelse fra en klassifikationsmodel.
Oprindelse
Sammensat af 'forklarlighed' (egenskaben at kunne forklares) og 'værktøj'. På engelsk 'explainability tool'.