softmax-cross-entropy
Softmax-cross-entropy er en losses-funktion, der kombinerer softmax-aktivering med cross-entropy-tab for flerklasseklassifikation.
Kort fortalt
Kort fortalt: en funktion der måler forskellen mellem modellens forudsagte sandsynligheder (via softmax) og de sande labels.
- Kategori
- træning
- Niveau
- øvet
Betydninger
1- 1
En lossesfunktion, der anvender softmax til at normalisere logits til sandsynligheder og derefter beregner cross-entropien mellem disse sandsynligheder og de sande labels.
- Under træning af et billedklassifikationsnetværk minimeres softmax-cross-entropy-tabet. — Standard deep learning practice
- Softmax-cross-entropy er standardvalget til flerklasseklassifikation i PyTorch via nn.CrossEntropyLoss. — PyTorch documentation, 2023
Hvornår bruges det
Bruges som standard losses-funktion i neurale netværk til flerklasseklassifikation, typisk med et one-hot encoded target.
Formel
L = -log( e^{z_c} / ∑_{j} e^{z_j} )Kodeeksempel
import torch
loss_fn = torch.nn.CrossEntropyLoss()
loss = loss_fn(logits, targets)Eksempel på brug af softmax-cross-entropy i PyTorch. Bemærk at CrossEntropyLoss internt kombinerer softmax og cross-entropy.
Oprindelse
Kombination af softmax-funktionen og cross-entropy-tabet.