Forklarlighedsværktøj

1. 1

   Software eller bibliotek der anvender teknikker som feature-attribution, kontrafaktiske forklaringer eller visualisering til at gøre en AI-models beslutningsproces forståelig for mennesker.

   • LIME er et populært forklarlighedsværktøj der approksimerer en models lokale opførsel med en simpel lineær model. — Ribeiro et al., 2016
   • Banken implementerede et forklarlighedsværktøj for at kunne begrunde afslag på låneansøgninger.

Forklarlighedsværktøjer bruges typisk i regulerede brancher (sundhed, finans) for at opfylde krav om gennemsigtighed, eller af udviklere der fejlsøger deres modeller. Eksempler er SHAP, LIME og Grad-CAM.

import lime
import lime.lime_tabular

explainer = lime.lime_tabular.LimeTabularExplainer(
    training_data=X_train, 
    feature_names=feature_names, 
    class_names=['benign', 'malignant'], 
    mode='classification'
)
exp = explainer.explain_instance(X_test[0], model.predict_proba)
exp.show_in_notebook(show_table=True)

Eksempel på brug af LIME til at forklare en enkelt forudsigelse fra en klassifikationsmodel.

Sammensat af 'forklarlighed' (egenskaben at kunne forklares) og 'værktøj'. På engelsk 'explainability tool'.

• Ribeiro, M.T., Singh, S., Guestrin, C. (2016). 'Why Should I Trust You?': Explaining the Predictions of Any Classifier.
• Lundberg, S.M., Lee, S.I. (2017). A Unified Approach to Interpreting Model Predictions.