aktiveringsfunktion
En aktiveringsfunktion er en matematisk funktion, der anvendes på outputtet af en neuron i et neuralt netværk for at introducere ikke-linearitet og bestemme, om neuronen skal aktiveres.
Kort fortalt
Kort fortalt: en aktiveringsfunktion bestemmer, hvorvidt en kunstig neuron 'fyrer' baseret på inputtet, og tilføjer ikke-linearitet til netværket.
- Kategori
- begreb
- Niveau
- begynder
Betydninger
1- 1
Matematisk funktion, der tager en værdi (typisk et dot-produkt af input og vægte) og returnerer en outputværdi, som ofte er ikke-lineær, for at bestemme en neurons output i et neuralt netværk.
- ReLU er en populær aktiveringsfunktion, der sætter negative værdier til nul og bevarer positive værdier uændret. — Deep Learning (Goodfellow et al., 2016)
- Sigmoid-aktiveringsfunktionen bruges ofte i outputlaget til binær klassifikation, da den skalerer output til intervallet [0, 1].
Hvornår bruges det
Aktiveringsfunktioner placeres efter hver neuron i et neuralt netværk. De er afgørende for, at netværket kan lære komplekse mønstre, da de uden dem blot ville være en lineær transformation. Valget af aktiveringsfunktion (f.eks. ReLU, sigmoid) påvirker træningseffektivitet og modelperformance.
Kodeeksempel
def relu(x):
return max(0, x)
# Eksempel på brug i et simpelt neuronlag
import numpy as np
def dense_layer(input, weights, bias, activation=relu):
z = np.dot(input, weights) + bias
return activation(z)En simpel implementering af ReLU-aktiveringsfunktionen og dens anvendelse i et tæt forbundet lag.
Oprindelse
Sammensat af 'aktivere' (at gøre aktiv) og 'funktion' (matematisk operation). Termen stammer fra biologiske neuroners aktivering i hjernen.
Afledte ord
3Kilder
2- Deep Learning (Goodfellow, Bengio, Courville, 2016)
- Rectified Linear Units Improve Restricted Boltzmann Machines (Nair & Hinton, 2010)