AUC
forkortelse for Area Under the Curve
AUC er et mål for en models evne til at skelne mellem positive og negative klasser, uafhængigt af klassifikationstærskel.
Kort fortalt
AUC fortæller hvor god en model er til at rangere tilfældige positive højere end tilfældige negative.
- Kategori
- metrik
- Niveau
- øvet
- Udtale
- /ˌeɪjuːˈsiː/
Betydninger
2- 1
ROC AUC (Receiver Operating Characteristic Area Under the Curve): måler modelpræstation på tværs af alle klassifikationstærskler, som arealet under ROC-kurven.
- Modellen opnåede en AUC på 0,92 på testdatasættet, hvilket indikerer fremragende klassifikation.
- 2
PR AUC (Precision-Recall Area Under the Curve): måler modelpræstation for ubalancerede datasæt som arealet under præcision-recall-kurven.
- Ved høj klasseubalance anbefales PR AUC frem for ROC AUC, da den er mere følsom over for falske positiver. — Saito & Rehmsmeier, 2015
Hvornår bruges det
AUC bruges ofte til at sammenligne klassifikationsmodeller, især når klasserne er ubalancerede, eller når tærskelværdien ikke er fastlagt. Det rapporteres typisk sammen med præcision og recall.
Formel
AUC = ∫₀¹ TPR(FPR) dFPR, hvor TPR er sand positiv rate og FPR er falsk positiv rate. Alternativt: sandsynligheden for at en tilfældig positiv scores højere end en tilfældig negativ.Oprindelse
AUC stammer fra ROC-analyse (Receiver Operating Characteristic), der oprindeligt blev udviklet til signaldetektion under 2. verdenskrig.
Kilder
2- An Introduction to ROC Analysis (Fawcett, 2006)
- Wikipedia: Area under the curve