fairness-metrik
En fairness-metrik er en kvantitativ måling af, i hvor høj grad en AI-models beslutninger er retfærdige på tværs af demografiske grupper.
Kort fortalt
En fairness-metrik er et tal, der viser om en AI-model behandler forskellige befolkningsgrupper retfærdigt.
- Kategori
- metrik
- Niveau
- øvet
- Udtale
- /ˈfɛːnəsˌmɛtʁik/
Betydninger
1- 1
En matematisk definition eller algoritme, der kvantificerer (u)retfærdighed i en AI-models output, typisk med henblik på at identificere bias over for beskyttede grupper (fx køn, race, alder).
- Vi anvendte en fairness-metrik til at vurdere modellens bias over for kønsgrupper. — Forskningsartikel, 2023
- Flere forskellige fairness-metrikker kan give modsatrettede resultater, hvilket gør valget af metrik afgørende. — Fairness and Machine Learning (Barocas, Hardt & Narayanan)
Hvornår bruges det
Fairness-metrikker bruges til at kvantificere bias i AI-modeller og til at dokumentere, om modellen overholder etiske retningslinjer. De anvendes typisk i evalueringsfasen under modeludvikling og i audit-sammenhænge.
Kodeeksempel
import pandas as pd
data = pd.DataFrame({'y_pred': [1,0,1,0], 'group': ['A','A','B','B']})
rates = data.groupby('group')['y_pred'].mean()
demographic_parity = abs(rates['A'] - rates['B'])
print(demographic_parity)Eksempel på beregning af demografisk paritet, en specifik fairness-metrik, i Python.
Oprindelse
Fra engelsk 'fairness metric', sammensat af 'fairness' (retfærdighed) og 'metric' (metrik).
Kilder
2- Fairness and Machine Learning (Barocas, Hardt & Narayanan)
- Equality of Opportunity in Supervised Learning (Hardt et al., 2016)