XAI-værktøj

1. 1

   Specifik software eller bibliotek, der implementerer XAI-metoder som LIME, SHAP eller Integrated Gradients til at fortolke modeller.

   • LIME er et populært XAI-værktøj til at forklare enkeltprædiktioner. — Ribeiro et al., 2016
   • SHAP er et XAI-værktøj baseret på spilteori, der giver konsistente forklaringer. — Lundberg & Lee, 2017
2. 2

   Overordnet betegnelse for alle værktøjer, rammer og teknikker, der sigter mod at gøre AI-systemer gennemsigtige og forståelige.

   • Der findes mange XAI-værktøjer, både open source og kommercielle.
   • IBM AI Explainability 360 er et eksempel på et XAI-værktøjssæt.

XAI-værktøjer anvendes i regulerede brancher som finans og sundhed, hvor forklarlighed er påkrævet, og til debugging og validering af modeller.

import shap
explainer = shap.Explainer(model, X)
shap_values = explainer(X[:10])
shap.plots.waterfall(shap_values[0])

Eksempel på brug af SHAP, et XAI-værktøj, til at forklare en models prædiktion.

XAI er en forkortelse for eXplainable AI (forklarlig AI), og -værktøj henviser til et softwareværktøj.

• Why Should I Trust You?: Explaining the Predictions of Any Classifier (LIME)
• Interpretable Machine Learning: A Guide for Making Black Box Models Explainable (Christoph Molnar)