METEOR
forkortelse for Metric for Evaluation of Translation with Explicit ORdering
METEOR er en evalueringsmetrik for maskinoversættelse og tekstgenerering, der måler kvaliteten ved at sammenligne hypoteser med referencer under hensyntagen til synonymi, ordstilling og stemming.
Kort fortalt
METEOR er en metrik, der vurderer, hvor godt en automatisk genereret tekst matcher en reference, men den er mere fleksibel end BLEU, fordi den også genkender synonymer og bøjningsformer.
- Kategori
- metrik
- Niveau
- øvet
Betydninger
1- 1
En evalueringsmetrik for maskinoversættelse og tekstgenerering, der beregner en score baseret på eksakt match, synonymi, stemming og ordstilling, med en straf for fragmentering.
- METEOR-scoren for oversættelsen var 0.85, hvilket indikerer en høj kvalitet.
- Sammenlignet med BLEU giver METEOR ofte en mere retvisende vurdering af oversættelseskvalitet.
Hvornår bruges det
METEOR anvendes primært inden for maskinoversættelse og tekstgenereringsopgaver som et supplement til BLEU. Det er særligt nyttigt, når man ønsker en evaluering, der bedre korrelerer med menneskelig vurdering, da den tager højde for sproglig variation.
Formel
METEOR = Fmean * (1 - Penalty), where Fmean = 10·Precision·Recall / (9·Precision + Recall) and Penalty = 0.5 * (chunks / matches)^3Oprindelse
METEOR blev introduceret i 2004 af Satanjeev Banerjee og Alon Lavie som en forbedring af BLEU-metrikken, med fokus på bedre korrelation med menneskelige bedømmelser.