Cross-entropi

1. 1

   I maskinlæring en tabsfunktion, der kvantificerer uoverensstemmelsen mellem en models forudsigelser og de sande etiketter, især anvendt til klassifikationsproblemer.

   • Ved træning af et neuralt netværk til billedgenkendelse anvendes cross-entropi som tabsfunktion.
   • Cross-entropi er særligt velegnet, når modellens output fortolkes som sandsynligheder, for eksempel efter en softmax-aktivering.
2. 2

   I informationsteori et mål for den gennemsnitlige antal bits, der kræves for at kode en sandsynlighedsfordeling ved brug af en anden fordeling.

   • Cross-entropien mellem to distributioner p og q er defineret som H(p,q) = -∫ p(x) log q(x) dx.
   • I informationsteori bruges cross-entropi som et mål for afstanden mellem distributioner, men det er ikke en metrik, da det mangler symmetri.

Cross-entropi anvendes primært som tabsfunktion ved træning af neurale netværk til klassifikation, hvor modellens output er sandsynligheder over klasser. Den straffer afvigelser mellem forudsigelse og sandhed, jo mere jo værre. Der findes også varianter som binær cross-entropi og kategorisk cross-entropi.

Binary cross-entropy: H(p,q) = -[y log(p) + (1-y) log(1-p)] ; Categorical cross-entropy: H(p,q) = - ∑ y_i log(p_i)

Begrebet stammer fra informationsteori, hvor det måler den gennemsnitlige mængde information, der kræves for at repræsentere en sand distribueret ved hjælp af en anden. Det blev introduceret af Claude Shannon i 1948.

• A Mathematical Theory of Communication (1948) by Claude Shannon
• Deep Learning (2016) by Ian Goodfellow, Yoshua Bengio, Aaron Courville