ROUGE-SU
forkortelse for Recall-Oriented Understudy for Gisting Evaluation – Skip-bigram plus Unigram
En evalueringsmetrik til automatisk opsummering, der måler overlap af unigrammer og skip-bigrammer mellem en maskinelt genereret og en referenceopsummering.
Kort fortalt
ROUGE-SU er en metode til at vurdere kvaliteten af en automatisk opsummering ved at sammenligne enkelte ord og ordpar med spring med en referenceopsummering.
- Kategori
- metrik
- Niveau
- øvet
Betydninger
1- 1
En metrik inden for ROUGE-familien, der kombinerer unigram-overlap (enkelte ord) og skip-bigram-overlap (ordpar med op til et specificeret antal mellemliggende ord) for at evaluere kvaliteten af en automatisk opsummering. Beregnes typisk som F1-score mellem recall og precision.
- ROUGE-SU gav en F1-score på 0,45 for systemets opsummeringer, hvilket indikerer moderat overlap med referenceopsummeringerne.
Hvornår bruges det
Bruges typisk i evaluering af tekstopsummeringssystemer, især når man ønsker at fange både ordniveau og sætningsflyd. Metrikken vægter recall højere end precision og beregnes som F1-score.
Formel
F1 = 2·R_SU·P_SU/(R_SU+P_SU) hvor R_SU = (U_match + S_match)/(U_ref + S_ref) og P_SU = (U_match + S_match)/(U_sys + S_sys)Oprindelse
ROUGE stammer fra 'Recall-Oriented Understudy for Gisting Evaluation', udviklet af Lin og Hovy (2003). SU angiver udvidelsen med skip-bigrammer og unigrammer.
Kilder
1- Lin, C.-Y., & Hovy, E. (2003). Automatic evaluation of summaries using n-gram co-occurrence statistics. In Proceedings of the 2003 Human Language Technology Conference.