Softmax-lag
Et softmax-lag er et outputlag i et neuralt netværk, der anvender softmax-funktionen til at konvertere en vektor af logits til en sandsynlighedsfordeling over klasser.
Kort fortalt
Softmax-laget gør rå tal til sandsynligheder, så du kan se, hvor sikker modellen er på hver klasse.
- Kategori
- arkitektur
- Niveau
- begynder
- Udtale
- /ˈsɒftmæks lɑːɡ/
Betydninger
1- 1
Et lag i et neuralt netværk, der anvender softmax-funktionen på en vektor af logits for at producere en sandsynlighedsfordeling, hvor summen af outputværdierne er 1.
- I en billedklassifikationsmodel med 1000 klasser vil softmax-laget outputte 1000 sandsynligheder.
- Softmax-laget bruges ofte i kombination med krydsentropi-tab under træning.
Hvornår bruges det
Softmax-laget bruges typisk som det sidste lag i klassifikationsmodeller for at producere en sandsynlighedsfordeling. Det anvendes også i attention-mekanismer og reinforcement learning.
Formel
softmax(x_i) = exp(x_i) / sum_j exp(x_j)Kodeeksempel
from keras.layers import Dense
model.add(Dense(10, activation='softmax'))Eksempel på brug af softmax-lag i Keras som outputlag til 10-klasse-klassifikation.
Oprindelse
Softmax er en sammentrækning af 'soft' (blød) og 'max', da funktionen opfører sig som en blød maksimumfunktion. 'Lag' er en direkte oversættelse af 'layer'.
Afledte ord
1Kilder
1- Probabilistic Interpretation of Feedforward Classification Network Outputs (Bridle, 1990)