XAI
forkortelse for Explainable AI
XAI betegner metoder og teknikker, der gør det muligt for mennesker at forstå og fortolke, hvordan AI-systemer træffer beslutninger.
Kort fortalt
XAI handler om at gøre sorte boks-modeller gennemsigtige, så vi kan se, hvorfor en AI siger ét frem for noget andet.
- Kategori
- begreb
- Niveau
- øvet
- Udtale
- ɛks eɪ aɪ
Betydninger
1- 1
Forskningsfelt og sæt af teknikker, der sigter mod at gøre AI-modellers beslutninger forståelige for mennesker.
- Moderne XAI-værktøjer som LIME og SHAP kan forklare enkelte forudsigelser fra komplekse neurale netværk. — Adadi & Berrada, 2018
- EU's kommende AI Act stiller krav om forklarlighed for højrisiko-AI-systemer, hvilket gør XAI til en nødvendighed.
Hvornår bruges det
XAI bruges især inden for kritiske domæner som sundhed, finans og jura, hvor tillid og ansvarlighed er afgørende. Det anvendes til modeldebugging, reguleringsoverholdelse og til at opbygge brugertillid.
Kodeeksempel
import lime
import lime.lime_tabular
# Assuming clf is a trained classifier and X_train is the training data
explainer = lime.lime_tabular.LimeTabularExplainer(X_train, feature_names=feature_names, class_names=['neg','pos'], mode='classification')
exp = explainer.explain_instance(X_test[0], clf.predict_proba, num_features=5)
exp.show_in_notebook() # or exp.as_list()Eksempel på brug af LIME til at forklare en enkelt forudsigelse fra en klassifikationsmodel.
Oprindelse
Begrebet opstod som svar på den stigende kompleksitet af deep learning-modeller, især efter 2010'erne. 'Explainable AI' blev formaliseret af DARPA omkring 2016.
Afledte ord
3Kilder
2- Peeking Inside the Black-Box: A Survey on Explainable Artificial Intelligence (XAI)
- DARPA Explainable Artificial Intelligence (XAI) Program