benchmark-datasæt
En standardiseret samling af data brugt til at evaluere og sammenligne ydeevnen af AI-modeller.
Kort fortalt
Kort fortalt: et datasæt, som forskere og udviklere bruger til at teste, hvor god deres AI-model er, så de kan sammenligne resultater med andre.
- Kategori
- begreb
- Niveau
- begynder
Betydninger
1- 1
Et standardiseret datasæt designet til at evaluere og sammenligne præstationen af AI-modeller inden for en specifik opgave, fx billedgenkendelse eller tekstklassifikation.
- Vi testede vores model på benchmark-datasættet ImageNet.
- Benchmark-datasæt som GLUE bruges ofte til at vurdere sprogforståelse.
Hvornår bruges det
Benchmark-datasæt bruges i evalueringsprocessen for at måle en models præcision, recall, nøjagtighed mv. De er essentielle for at sikre reproducerbarhed og retfærdig sammenligning på tværs af forskellige tilgange.
Oprindelse
Udtrykket er sammensat af 'benchmark' (fra engelsk: referencepunkt) og 'datasæt' (samling af data). Det afspejler idéen om et standardiseret referencepunkt for evaluering.
Kilder
2- ImageNet: A Large-Scale Hierarchical Image Database (2009)
- GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding (2018)
Se også
- dataset
- evalueringsmetrik
- model-evaluering(mangler)