corpus-BLEU
Corpus-BLEU er en evalueringsmetrik for maskinoversættelse, der beregner n-gram præcision over hele korpuset og straffer for korte oversættelser via en brevity penalty.
Kort fortalt
Kort fortalt måler corpus-BLEU, hvor godt en maskinoversættelse matcher en eller flere referenceoversættelser på korpusniveau.
- Kategori
- metrik
- Niveau
- øvet
Betydninger
1- 1
Corpus-BLEU er en metrik til evaluering af maskinoversættelse, der beregner n-gram præcision akkumuleret over alle sætninger i et testkorpus, kombineret med en brevity penalty for at straffe systemer, der producerer for korte oversættelser.
- Corpus-BLEU-4 på testkorpuset var 34,2, hvilket indikerer en god oversættelseskvalitet. — WMT evaluation report
- I modsætning til sentence-BLEU er corpus-BLEU mere stabil og mindre påvirket af ekstreme værdier.
Hvornår bruges det
Corpus-BLEU anvendes standardmæssigt til at evaluere oversættelseskvalitet i forskning og industri. Det beregnes ved at aggregere n-gram tællinger over alle sætninger i testkorpuset og anvende brevity penalty for at modvirke korte oversættelser.
Formel
BLEU = BP * exp( sum_{n=1}^N w_n * log p_n ) where BP = min(1, exp(1 - r/c)) and p_n = (sum_{sentences} count_{n-gram in candidate} clipped) / (sum_{sentences} count_{n-gram in candidate}). Typically N=4, w_n = 1/N.Oprindelse
BLEU står for 'Bilingual Evaluation Understudy'. Corpus-BLEU refererer til beregning på korpusniveau i modsætning til sentence-BLEU.