model reliability metrics
Model reliability metrics er kvantitative mål for en models evne til at levere pålidelige, robuste og kalibrerede forudsigelser under varierende forhold.
Kort fortalt
En måde at måle, hvor sikker og robust en AI-model er, især når den møder nye eller usædvanlige data.
- Kategori
- begreb
- Niveau
- øvet
Betydninger
1- 1
Samling af metrikker der vurderer en models pålidelighed, herunder kalibrering af sandsynligheder, robusthed over for støj og modstandsdygtighed over for dataændringer.
- For at evaluere modellens pålidelighed beregnede vi expected calibration error (ECE) og robusthed over for Gaussian noise. — Forskningsartikel, 2022
- Model reliability metrics er essentielle før implementering i produktionsmiljøer.
Hvornår bruges det
Bruges i sikkerhedskritiske applikationer som autonome køretøjer og medicinsk diagnostik for at validere, at modellen opfører sig forudsigeligt. De omfatter metrikker som kalibreringsfejl, robusthed over for adversarial angreb og konsistens under distribution shift.
Oprindelse
Udtrykket stammer fra software reliability engineering og er blevet tilpasset til maskinlæring.