perplexity-metrik
Et mål for hvor godt en sprogmodel forudsiger en sekvens af tokens, defineret som eksponentialet af den gennemsnitlige krydsentropi.
- Kategori
- metrik
- Niveau
- øvet
Betydninger
1- 1
Et mål for, hvor godt en sandsynlighedsfordeling eller en sprogmodel forudsiger en stikprøve. For en sprogmodel beregnes perplexity som eksponentialet af den gennemsnitlige krydsentropi over en sekvens af tokens. En lavere perplexity indikerer bedre forudsigelsesevne. Værdien svarer til det gennemsnitlige antal lige sandsynlige ord, som modellen er lige så usikker som.
- Perplexity-metrikken for GPT-4 på WikiText-2 er 8.9, hvilket indikerer at modellen i gennemsnit er lige så usikker som at vælge mellem 8.9 lige sandsynlige ord. — forskning, 2024
- En perfekt sprogmodel ville have en perplexity på 1, da den altid forudsiger det næste ord med 100% sikkerhed. — lærebog, 2023
Oprindelse
Fra engelsk 'perplexity', som stammer fra latin 'perplexus' (sammenfiltret, forvirret) og græsk 'metron' (mål).