tanh activation
Tanh-aktivering er en matematisk funktion, der anvendes i neuroner for at kortlægge input til output mellem -1 og 1.
Kort fortalt
Tanh-aktivering gør et neurons output til et tal mellem -1 og 1, ofte brugt i skjulte lag.
- Kategori
- teknik
- Niveau
- øvet
- Udtale
- /tænθ/
Betydninger
1- 1
En matematisk aktiveringsfunktion, der kortlægger et hvilket som helst reelt tal til intervallet (-1, 1). Den er nul-centreret og differentiabel, hvilket gør den anvendelig i backpropagation.
- I et neuralt netværk anvendes tanh-aktivering ofte i skjulte lag for at introducere ikke-linearitet. — Deep Learning, Goodfellow et al., 2016
- Funktionen tanh er nul-centreret, hvilket kan forbedre konvergensen i træning sammenlignet med sigmoid.
Hvornår bruges det
Tanh-aktivering bruges typisk i skjulte lag af neurale netværk, især i ældre arkitekturer. Den er nul-centreret, hvilket hjælper med at forhindre gradienter i at eksplodere.
Formel
tanh(x) = (e^x - e^{-x}) / (e^x + e^{-x})Kodeeksempel
import numpy as np
def tanh(x):
return np.tanh(x)Numpy implementering af tanh-aktivering.
Oprindelse
Tanh er en forkortelse for 'hyperbolsk tangens', en matematisk funktion beslægtet med trigonometrisk tangens.