kategorisk krydsentropi
Kategorisk krydsentropi er et tabsfunktionsmål, der kvantificerer forskellen mellem de forudsagte sandsynligheder og de sande klasseetiketter i flerklasseklassifikation.
Kort fortalt
Kategorisk krydsentropi måler, hvor godt en models sandsynlighedsforudsigelser passer til de faktiske klasser — jo lavere, jo bedre.
- Kategori
- metrik
- Niveau
- øvet
- Udtale
- kateˈɡoːʁisk ˈkʁydsɛntʁoˌpiˀ
Betydninger
1- 1
En tabsfunktion, der beregner den negative logaritme af sandsynligheden for den korrekte klasse, summeret over alle klasser. Den straffer forkerte forudsigelser med høj sikkerhed hårdere.
- I træningen af et billedklassifikationsnetværk minimeres den kategoriske krydsentropi mellem softmax-outputs og one-hot-kodede etiketter.
- Kategorisk krydsentropi er ækvivalent med negativ log-sandsynlighed for en multinomial fordeling.
Hvornår bruges det
Bruges som tabsfunktion i neurale netværk til klassifikationsopgaver med flere klasser, ofte sammen med en softmax-aktivering i sidste lag. Det er standardvalget i de fleste deep learning frameworks til flerklasseproblemer.
Formel
H(y, p) = -Σ_{i=1}^{C} y_i * log(p_i)Oprindelse
Ordet 'krydsentropi' stammer fra informationsteori og er en kombination af 'kryds' (cross) og 'entropi' (entropy). 'Kategorisk' refererer til, at det anvendes på diskrete kategorier (klasser).