logit-softmax
Logit-softmax er kombinationen af de rå scores (logits) fra en models sidste lag og softmax-funktionen, som omdanner dem til en sandsynlighedsfordeling over klasser.
Kort fortalt
Logit-softmax er den sidste operation i mange klassifikationsmodeller, der omdanner tal til sandsynligheder, så man kan se, hvor sikker modellen er på hver klasse.
- Kategori
- begreb
- Niveau
- begynder
- Udtale
- /ˈloʊdʒɪt sɒftˈmæks/
Betydninger
1- 1
Processen med at anvende softmax-funktionen på logits for at opnå en sandsynlighedsfordeling, typisk i klassifikationsmodellers outputlag.
- I en billedklassifikationsmodel giver logit-softmax en sandsynlighed for hver klasse.
- Logit-softmax bruges ofte sammen med cross-entropy loss under træning.
Hvornår bruges det
Logit-softmax bruges typisk i outputlaget af neurale netværk til flerklasseklassifikation. Efter træning anvendes softmax på logits for at fortolke modellens forudsigelser som sandsynligheder.
Formel
softmax(z_i) = exp(z_i) / Σ_j exp(z_j) for i = 1,...,KKodeeksempel
import numpy as np
def softmax(logits):
exp_logits = np.exp(logits - np.max(logits)) # for numerisk stabilitet
return exp_logits / np.sum(exp_logits)
logits = np.array([2.0, 1.0, 0.1])
probs = softmax(logits)
print(probs) # [0.659, 0.242, 0.099]Simpel Python-implementering af softmax, der tager logits som input og returnerer sandsynligheder.
Oprindelse
Termen 'logit' stammer fra logistisk funktion, og 'softmax' blev introduceret af Bridle (1990) som en differentiable udgave af argmax.
Afledte ord
3Kilder
1- Bridle, J. S. (1990). Probabilistic interpretation of feedforward classification network outputs, with relationships to statistical pattern recognition.