Kullback-Leibler divergens
Et mål for forskellen mellem to sandsynlighedsfordelinger, defineret som den forventede logaritmiske forskel mellem dem.
Kort fortalt
Kullback-Leibler divergens (KL-divergens) er et matematisk mål for, hvor meget to sandsynlighedsfordelinger adskiller sig fra hinanden.
- Kategori
- metrik
- Niveau
- øvet
- Udtale
- /ˈkʊlbæk ˈlaɪblɚ daɪˈvɜːrdʒəns/
Betydninger
1- 1
Et asymmetrisk mål for forskellen mellem to sandsynlighedsfordelinger P og Q, hvor P ofte repræsenterer den sande fordeling og Q en tilnærmelse.
- Under træning minimeres KL-divergensen mellem den sande fordeling og modelfordelingen.
- I variational autoencoders bruges KL-divergens til at regulere latentrummet.
Hvornår bruges det
Bruges i maskinlæring til at kvantificere tabet af information, når en tilnærmet fordeling bruges i stedet for den sande, fx i variational inference, generative modeller og som tabsfunktion.
Formel
D_KL(P || Q) = ∑_x P(x) log(P(x)/Q(x))Oprindelse
Opkaldt efter Solomon Kullback og Richard Leibler, der introducerede målet i 1951.
Afledte ord
1Kilder
1- Kullback, S.; Leibler, R.A. (1951). 'On Information and Sufficiency'. Annals of Mathematical Statistics, 22(1): 79–86.