bias testing
Bias testing er en systematisk evaluering af en AI-models output for at identificere og måle skævheder baseret på følsomme attributter som køn, race eller alder.
Kort fortalt
Bias testing handler om at tjekke, om en AI-model behandler alle grupper retfærdigt ved at analysere dens resultater for forskellige befolkningsgrupper.
- Kategori
- teknik
- Niveau
- øvet
Betydninger
1- 1
Proces med at måle og vurdere skævheder i en AI-models prædiktioner eller beslutninger, ofte ved hjælp af statistiske metrikker og testdatasæt.
- Inden implementering gennemførte teamet bias testing på ansættelsesmodellen og fandt en signifikant kønsforskel i jobanbefalinger. — Eksempel
- Bias testing afslørede, at kreditmodellen havde højere afvisningsrate for etniske minoriteter, hvilket førte til en omfattende omtræning. — Eksempel
Hvornår bruges det
Bias testing anvendes typisk i udviklingsfasen af AI-systemer, især inden for kreditvurdering, ansættelse og strafferet, for at opdage utilsigtede skævheder. Det involverer ofte metrikker som demografisk paritet, equalized odds og disparate impact, samt brug af testdatasæt med annoterede følsomme attributter.
Kodeeksempel
from aif360.datasets import BinaryLabelDataset
from aif360.metrics import BinaryLabelDatasetMetric
dataset = BinaryLabelDataset(df=test_data, label_names=['score'], protected_attribute_names=['gender'])
metric = BinaryLabelDatasetMetric(dataset, unprivileged_groups=[{'gender': 0}], privileged_groups=[{'gender': 1}])
print('Disparate impact:', metric.disparate_impact())Eksempel på bias testing ved hjælp af AI Fairness 360-biblioteket, hvor man beregner disparate impact mellem kønsgrupper.
Oprindelse
Termen er sammensat af 'bias' (skævhed) og 'testing' (afprøvning) og stammer fra forskning i retfærdighed og maskinlæring, især inden for området 'fairness in AI'.