faktaaccuracy
Faktaaccuracy er en metrik, der måler andelen af faktuelle påstande i en models output, som er korrekte.
Kort fortalt
Kort fortalt: Faktaaccuracy fortæller, hvor mange af modellens påstande der rent faktisk er sande.
- Kategori
- metrik
- Niveau
- øvet
- Udtale
- [ˈfɑktɑɑˈkʰuʁɑsi]
Betydninger
1- 1
En metrik, der kvantificerer, i hvor høj grad en models output indeholder korrekte faktuelle oplysninger.
- På TruthfulQA-benchmarken opnåede modellen en faktaaccuracy på 78 %. — TruthfulQA benchmark, 2021
- Faktaaccuracy er en vigtig evalueringsmetrik for sprogmodeller, der skal bruges i journalistik eller medicin.
Hvornår bruges det
Faktaaccuracy bruges typisk til at evaluere sprogmodeller på opgaver som spørgsmålsbesvarelse, summarisering og faktatjek. Den opgøres ved at sammenligne modellens udsagn mod en verificeret kilde eller et facit.
Oprindelse
Sammensat af 'fakta' og det engelske 'accuracy' (nøjagtighed). Begrebet stammer fra evaluering af informationssystemer og er blevet centralt med fremkomsten af store sprogmodeller.