sigmoid activation
Den sigmoide aktiveringsfunktion er en matematisk funktion, der mapper et reelt tal til et interval mellem 0 og 1, ofte brugt i neurale netværk som en ikke-lineær aktivering.
Kort fortalt
Sigmoid aktivering skubber værdier ind mellem 0 og 1, så det ligner en sandsynlighed.
- Kategori
- begreb
- Niveau
- begynder
Betydninger
1- 1
En ikke-lineær aktiveringsfunktion defineret som σ(x)=1/(1+e^{-x}), der mapper et vilkårligt reelt tal til et interval mellem 0 og 1.
- Sigmoid-aktiveringen i outputlaget giver sandsynligheder for hver klasse.
- I LSTM'en bruges sigmoid til at kontrollere informationsflowet.
Hvornår bruges det
Sigmoid aktivering anvendes typisk i outputlaget af binære klassifikationsmodeller, men mindre almindeligt i skjulte lag på grund af vanishing gradient-problemet. Den bruges også i gate-mekanismer i LSTM og GRU.
Formel
σ(x) = 1 / (1 + e^{-x})Kodeeksempel
import numpy as np
def sigmoid(x):
return 1 / (1 + np.exp(-x))En simpel implementering af sigmoid-funktionen ved hjælp af NumPy.
Oprindelse
Navnet 'sigmoid' kommer af det græske bogstav sigma (σ) og 'oid' (lignende), da funktionens kurve ligner et S.
Kilder
2- Neural Networks and Deep Learning (Michael Nielsen, 2015)
- Deep Learning (Goodfellow, Bengio, Courville, 2016)