ROUGE-S
forkortelse for Recall-Oriented Understudy for Gisting Evaluation - Skip-gram
ROUGE-S er en evalueringsmetrik, der måler overlap af skip-gram (sekvenser af ord med mellemrum) mellem en referencetekst og en genereret tekst, med fokus på recall.
Kort fortalt
ROUGE-S tjekker, hvor mange ordsekvenser (med huller) fra en reference der optræder i en genereret tekst.
- Kategori
- metrik
- Niveau
- øvet
- Udtale
- /ˈruːʒ ɛs/
Betydninger
1- 1
En evalueringsmetrik inden for naturlig sprogbehandling, der beregner recall for skip-gram, defineret som n-gram med tilladelse af spring (gaps) mellem ordene, for at sammenligne en genereret tekst med en reference.
- ROUGE-S-målingen gav en score på 0.45, hvilket indikerer en moderat overlap af skip-gram mellem den automatisk genererede resumé og referenceresuméet.
Hvornår bruges det
ROUGE-S bruges typisk ved evaluering af tekstopsummering og maskinoversættelse, især når man vil fange ikke-streng sekvensiel ordrækkefølge, f.eks. ved at tillade spring på op til et vist antal ord.
Formel
ROUGE-S(n,k) = (∑_{ref} ∑_{skip-gram∈S(ref)} 1_{skip-gram∈hyp}) / (∑_{ref} ∑_{skip-gram∈S(ref)} 1)Oprindelse
ROUGE står for Recall-Oriented Understudy for Gisting Evaluation, udviklet af Chin-Yew Lin og Eduard Hovy i 2003. Skip-gram-varianten (ROUGE-S) blev introduceret for at håndtere ikke-kontinuerlige n-gram.
Afledte ord
1Kilder
1- Automatic Evaluation of Summaries Using N-gram Co-occurrence Statistics