Activation function
En aktiveringsfunktion er en matematisk funktion, der bestemmer outputtet af en neuron i et neuralt netværk baseret på dens input.
Kort fortalt
Kort fortalt: En funktion, der afgør, om en neuron skal aktiveres eller ej, og tilfører ikke-linearitet til netværket.
- Kategori
- begreb
- Niveau
- begynder
- Udtale
- /ˌæktɪˈveɪʃən ˈfʌŋkʃən/
Betydninger
1- 1
En matematisk funktion, der transformerer input til en neuron til et output, typisk for at introducere ikke-linearitet og begrænse outputtet til et bestemt interval.
- ReLU-aktiveringsfunktionen sætter negative værdier til nul og bevarer positive værdier uændret.
- Sigmoid-aktiveringsfunktionen mapper input til et interval mellem 0 og 1.
Hvornår bruges det
Aktiveringsfunktioner bruges i alle neurale netværk efter hver neuron eller efter hvert lag (undtagen outputlaget). Populære aktiveringsfunktioner omfatter ReLU, sigmoid og tanh. Valget af aktiveringsfunktion påvirker netværkets evne til at lære komplekse mønstre.
Formel
For en neuron med inputsum z = ∑(w_i * x_i) + b, output a = f(z), hvor f er aktiveringsfunktionen.Kodeeksempel
import numpy as np
def relu(x):
return np.maximum(0, x)
def sigmoid(x):
return 1 / (1 + np.exp(-x))
x = np.array([-1, 0, 1, 2])
print(relu(x)) # [0 0 1 2]
print(sigmoid(x)) # [0.2689 0.5 0.7311 0.8808]Eksempel på ReLU- og sigmoid-aktiveringsfunktioner i Python med NumPy.
Oprindelse
Udtrykket stammer fra biologiske neuroner, som aktiveres, når stimuli overstiger en tærskel. I kunstige neurale netværk bruges matematiske funktioner til at modellere denne aktivering.
Afledte ord
4Kilder
3- Deep Learning (Goodfellow, Bengio, Courville, 2016)
- Neural Networks and Deep Learning (Michael Nielsen, 2015)
- Rectified Linear Units Improve Restricted Boltzmann Machines (Nair & Hinton, 2010)