softmax-aktivering
forkortelse for softmax
En aktiveringsfunktion der normaliserer en vektor af vilkårlige reelle tal til en sandsynlighedsfordeling over klasser.
Kort fortalt
Softmax-aktivering omdanner et sæt tal til sandsynligheder, der summer til 1, så man kan vælge den mest sandsynlige klasse.
- Kategori
- teknik
- Niveau
- øvet
Betydninger
1- 1
En aktiveringsfunktion der omdanner en vektor af reelle tal til en sandsynlighedsfordeling via eksponentialfunktionen og normalisering.
- Softmax-aktivering anvendes i transformer-modellers sidste lag for at forudsige næste token.
- I et neuralt netværk til billedklassifikation sikrer softmax, at outputtet kan tolkes som sandsynligheder.
Hvornår bruges det
Bruges i outputlaget af neurale netværk til flerklasseklassifikation, f.eks. i sprogmodeller og billedgenkendelse.
Formel
softmax(x_i) = exp(x_i) / sum_j exp(x_j)Kodeeksempel
import numpy as np
def softmax(x):
e_x = np.exp(x - np.max(x))
return e_x / e_x.sum()En stabil implementering af softmax i Python.
Oprindelse
'Softmax' kommer fra engelsk: 'soft' (blød) og 'max' (maksimum), da funktionen er en differentierbar tilnærmelse til argmax.