perplexity-værdi
Perplexity-værdi er en metrik, der måler, hvor godt en sprogmodel forudsiger en given tekstsekvens.
Kort fortalt
Perplexity-værdien fortæller, hvor overrasket en sprogmodel er over en tekst – jo lavere værdi, jo bedre passer modellen til teksten.
- Kategori
- metrik
- Niveau
- øvet
Betydninger
1- 1
En metrik, der kvantificerer en sprogmodels evne til at forudsige en sekvens af tokens.
- Efter finjustering faldt modellens perplexity-værdi fra 50 til 20.
Hvornår bruges det
Perplexity bruges typisk til at evaluere og sammenligne sprogmodeller under træning og test. En lavere perplexity indikerer bedre forudsigelsesevne.
Formel
Perplexity = exp( - (1/N) * Σ log P(w_i | context) )Oprindelse
Termen 'perplexity' kommer fra engelsk og betyder 'forvirring' eller 'rådvildhed', hvilket afspejler modellens usikkerhed.