tanh
forkortelse for hyperbolic tangent
Den hyperbolske tangens (tanh) er en matematisk funktion, der som aktiveringsfunktion i neurale netværk mapper inputværdier til intervallet (-1,1).
Kort fortalt
Tanh er en aktiveringsfunktion, der skaber værdier mellem -1 og 1, så modellen kan håndtere både negative og positive signaler.
- Kategori
- begreb
- Niveau
- øvet
- Udtale
- /tæn eɪtʃ/
Betydninger
2- 1
Den hyperbolske tangens er en matematisk funktion defineret som forholdet mellem den hyperbolske sinus og cosinus: tanh(x) = sinh(x)/cosh(x).
- Tanh er en ulige funktion, dvs. tanh(-x) = -tanh(x).
- 2
Tanh anvendes som ikke-lineær aktiveringsfunktion i kunstige neurale netværk, hvor den giver output i intervallet (-1,1) og er nul-centreret.
- De fleste RNN'er bruger tanh som standardaktivering i de tilbagevendende lag. — Hochreiter & Schmidhuber, 1997
Hvornår bruges det
Tanh bruges ofte som aktiveringsfunktion i skjulte lag af neurale netværk, især før ReLU blev dominerende. Den har stadig anvendelser i RNN'er (LSTM'er) og i opgaver, hvor centrerede værdier er fordelagtige.
Formel
tanh(x) = (e^x - e^{-x}) / (e^x + e^{-x})Kodeeksempel
import numpy as np
x = np.array([-2, -1, 0, 1, 2])
y = np.tanh(x)
print(y) # output: [-0.964, -0.762, 0., 0.762, 0.964]Eksempel på tanh-beregning med NumPy.
Oprindelse
Fra engelsk "hyperbolic tangent", dannet af "tangent" og "hyperbolic" (hyperbolsk). Tanh er en forkortelse for "tangent hyperbolicus".
Kilder
2- Long Short-Term Memory (Hochreiter & Schmidhuber, 1997)
- Efficient BackProp (LeCun et al., 1998)