perplexity
Perplexity er en metrik, der måler, hvor godt en sprogmodel forudsiger en sekvens af tokens.
Kort fortalt
Perplexity fortæller, hvor 'forvirret' en model er, når den skal forudsige næste ord – lavere er bedre.
- Kategori
- metrik
- Niveau
- øvet
- Udtale
- /pɐʁˈplɛksɪti/
Betydninger
1- 1
En metrik, der kvantificerer, hvor godt en sandsynlighedsfordeling forudsiger en given sekvens.
- Efter træning opnåede modellen en perplexity på 18 på testdatasættet.
- En lavere perplexity indikerer bedre forudsigelsesevne.
Hvornår bruges det
Perplexity bruges til at evaluere og sammenligne sprogmodeller, især inden for naturlig sprogbehandling. Det er en standardmetrik i opgaver som sprogmodellering og tekstgenerering.
Formel
Perplexity = P(w_1,...,w_N)^{-1/N} = 2^{H(W)}, where H is cross-entropy.Oprindelse
Fra latin 'perplexus' (sammenfiltret) og græsk 'metron' (mål).
Kilder
1- Jurafsky, D., & Martin, J. H. (2023). Speech and Language Processing (3rd ed. draft).