bias-detektion
Bias-detektion er processen med at identificere systematiske fejl eller skævheder i en AI-models output, som kan føre til uretfærdig eller diskriminerende behandling.
Kort fortalt
Det er at finde skjulte fordomme i en AI-model, så den ikke behandler bestemte grupper uretfærdigt.
- Kategori
- teknik
- Niveau
- øvet
Betydninger
1- 1
Identifikation af systematiske skævheder i en AI-models data, algoritme eller output, som kan medføre uretfærdige resultater.
- Før modellen blev sat i produktion, gennemgik den en grundig bias-detektion, der afslørede, at den diskriminerede mod ældre ansøgere.
- Bias-detektion viste, at datasættet var ubalanceret med hensyn til køn, hvilket førte til skæve forudsigelser.
Hvornår bruges det
Bias-detektion anvendes typisk i forbindelse med fairness-evaluering af maskinlæringsmodeller, især før implementering i samfundskritiske systemer som ansættelse, kreditvurdering eller strafudmåling. Metoderne omfatter både kvantitative metrics (fx demografisk paritet, equalized odds) og kvalitative analyser af data og modelbeslutninger.
Kodeeksempel
import pandas as pd
from fairlearn.metrics import demographic_parity_difference
# Simulated data: predictions and sensitive feature
data = pd.DataFrame({
'y_pred': [1, 0, 1, 0, 1],
'gender': ['M', 'F', 'M', 'F', 'M']
})
dpd = demographic_parity_difference(data['y_pred'],
sensitive_features=data['gender'])
print(f"Demographic parity difference: {dpd:.2f}")Dette eksempel beregner demografisk paritetsforskel for en simpel models forudsigelser fordelt på køn ved hjælp af fairlearn-biblioteket.
Oprindelse
Fra engelsk 'bias detection'. 'Bias' stammer fra oldfransk 'biais' (skæv, skrå), og 'detektion' fra latin 'detectio' (afsløring).
Afledte ord
3Kilder
2- Fairness and Machine Learning: Limitations and Opportunities (Barocas et al., 2019)
- Bias in Bios: A Case Study of Semantic Representation Bias in a High-Stakes Setting (De-Arteaga et al., 2019)