tanh-aktiveringsfunktion
forkortelse for hyperbolsk tangent
Tanh er en matematisk aktiveringsfunktion, der skalerer input til værdier mellem -1 og 1 og bruges i neurale netværk.
Kort fortalt
Kort fortalt: en aktiveringsfunktion der komprimerer værdier til intervallet mellem -1 og 1, så neurale netværk bedre kan håndtere negative og positive signaler.
- Kategori
- teknik
- Niveau
- øvet
- Udtale
- /tæntʃ/
Betydninger
1- 1
Aktiveringsfunktion defineret som den hyperbolske tangent, brugt i kunstige neuroner til at introducere ikke-linearitet og normalisere output til intervallet [-1, 1].
- I et skjult lag anvendes tanh-aktiveringsfunktionen for at sikre, at neuronernes output er centreret omkring nul.
- Sammenlignet med sigmoid har tanh den fordel, at den er symmetrisk omkring oprindelsen, hvilket accelererer konvergensen under træning.
Hvornår bruges det
Bruges ofte i skjulte lag i neurale netværk, især før moderniseringen af deep learning, da sigmoid og tanh var standard. I dag erstattet af ReLU i mange dybe netværk, men bruges stadig i RNN'er og GAN'er, fordi outputtet er centreret omkring 0.
Formel
tanh(x) = (e^x - e^{-x}) / (e^x + e^{-x})Kodeeksempel
import numpy as np
z = np.array([-2, -1, 0, 1, 2])
a = np.tanh(z) # output: [-0.964, -0.762, 0, 0.762, 0.964]Brug af NumPy's tanh-funktion til at beregne aktiveringer.
Oprindelse
Tanh er en forkortelse af den hyperbolske tangent, en almindelig matematisk funktion.