Explainability
Explainability betegner egenskaben ved et AI-system, at dets beslutninger og adfærd kan forklares på en forståelig måde for mennesker.
Kort fortalt
Kort fortalt: Explainability handler om, at en AI skal kunne forklare, hvorfor den traf en bestemt beslutning, så vi kan forstå og stole på den.
- Kategori
- begreb
- Niveau
- øvet
Betydninger
1- 1
Egenskaben ved et AI-system, at dets output og interne processer kan forklares på en måde, der er forståelig for mennesker, ofte ved hjælp af metoder som SHAP, LIME eller beslutningstræer.
- Manglende explainability i deep learning-modeller gør det svært at implementere dem i sundhedssektoren.
- GDPR's krav om forklaringsret har øget fokus på explainability i AI-systemer.
Hvornår bruges det
Explainability bruges især i forbindelse med kritiske beslutningssystemer som sundhedsdiagnostik, kreditvurdering og autonome køretøjer, hvor det er vigtigt at forstå og validere modellens ræsonnement. Det er også et krav i reguleringer som EU's GDPR, der giver ret til forklaring af automatiserede beslutninger.
Oprindelse
Ordet 'explainability' kommer fra engelsk, dannet af 'explain' (forklare) og suffikset '-ability' (-barhed). Det er en parallel til 'interpretability', men lægger vægt på, at forklaringen skal være meningsfuld for mennesker.
Kilder
2- Explainable Artificial Intelligence (XAI) – DARPA
- The Mythos of Model Interpretability – Lipton, 2016