ROUGE
forkortelse for Recall-Oriented Understudy for Gisting Evaluation
ROUGE er en metrik til automatisk evaluering af tekstopsummering og maskinoversættelse, der måler overlap af n-gram, ordsekvenser og ordpar mellem en genereret tekst og reference(r).
Kort fortalt
Kort fortalt: ROUGE sammenligner en maskinskrevet opsummering med en eller flere menneskeskrevne opsummeringer og tæller, hvor mange ord- eller sætningsbidder der går igen.
- Kategori
- metrik
- Niveau
- øvet
- Udtale
- /ruːʒ/
Betydninger
1- 1
En samling af metrikker til evaluering af automatisk tekstopsummering og maskinoversættelse, der måler overlap af n-gram (ROUGE-N), længste fælles undersekvens (ROUGE-L) og skip-bigram (ROUGE-S) mellem en kandidattekst og referencesæt.
- Modellen opnåede en ROUGE-1-score på 0,45, hvilket betyder, at 45 % af unigrammerne i referencesammendragene blev genkaldt. — Forskningsartikel, 2020
- ROUGE-L måler længden af den længste fælles ordsekvens mellem kandidatteksten og referencen. — Lin, 2004
Hvornår bruges det
ROUGE bruges typisk i forskning og udvikling af tekstopsummeringssystemer. Forskere rapporterer ofte ROUGE-1, ROUGE-2 og ROUGE-L scores for at sammenligne modeller. Det anvendes også til maskinoversættelse og andre genereringsopgaver.
Formel
ROUGE-N = sum_{S in References} sum_{gram_n in S} count_{match}(gram_n) / sum_{S in References} sum_{gram_n in S} count(gram_n)Oprindelse
ROUGE er et akronym for 'Recall-Oriented Understudy for Gisting Evaluation'. Det er en variation af BLEU-metrikken, men fokuserer på recall i stedet for precision. Navnet 'Understudy' henviser til, at det er en automatisk erstatning for menneskelig evaluering.
Afledte ord
6Kilder
1- ROUGE: A Package for Automatic Evaluation of Summaries