sigmoid-aktiveringsfunktion
En matematisk funktion, der mapper et hvilket som helst reelt tal til et tal mellem 0 og 1, ofte brugt som aktiveringsfunktion i neurale netværk.
Kort fortalt
En funktion, der kvæler inputværdier til et interval mellem 0 og 1, så neurale netværk kan lære ikke-lineære mønstre.
- Kategori
- begreb
- Niveau
- begynder
- Udtale
- /ˈsɪɡmɔɪd aktiˈveːʁiŋs fʊŋkˈɕoːn/
Betydninger
1- 1
En matematisk funktion, der anvendes som aktiveringsfunktion i kunstige neurale netværk, kendetegnet ved dens S-formede kurve og output i intervallet (0, 1).
- Sigmoid-aktiveringsfunktionen blev tidligere flittigt brugt i skjulte lag, men er nu ofte erstattet af ReLU.
- I et binært klassifikationsproblem bruges sigmoid til at producere en sandsynlighed for klasse 1.
Hvornår bruges det
Sigmoid-aktiveringsfunktionen anvendes ofte i outputlaget af binære klassifikationsmodeller, da den producerer en sandsynlighed. Den bruges også i skjulte lag, men er i dag sjældnere på grund af gradient-forsvindingsproblemet.
Formel
σ(x) = 1 / (1 + e^{-x})Kodeeksempel
import numpy as np
def sigmoid(x):
return 1 / (1 + np.exp(-x))En simpel Python-implementering af sigmoid-funktionen ved hjælp af NumPy.
Oprindelse
Fra græsk 'sigma' (Σ) på grund af funktionens S-formede kurve.
Afledte ord
2Kilder
1- Deep Learning (Goodfellow et al., 2016)