benchmark score
En benchmark-score er en numerisk værdi, der repræsenterer en models præstation på en standardiseret test.
Kort fortalt
Kort fortalt: et tal der måler, hvor godt en AI-model klarer sig på en bestemt opgave.
- Kategori
- metrik
- Niveau
- begynder
- Udtale
- ˈbɛntʃmɑːk skɔːr
Betydninger
1- 1
Resultatet af en evaluering på en benchmark-opgave, typisk en metrik som nøjagtighed, F1-score eller perplexity.
- Modellen opnåede en benchmark-score på 92,3 % på ImageNet.
- Benchmark-scoren på GLUE-datasættet bruges til at måle sprogforståelse.
Hvornår bruges det
Benchmark-scores bruges til at sammenligne forskellige modeller og spore fremskridt inden for AI-området. De rapporteres ofte i forskningsartikler og på leaderboards.
Oprindelse
Sammensat af 'benchmark' (standardtest) og 'score' (resultat).