LeakyReLU
LeakyReLU er en aktiveringsfunktion der tillader en lille, positiv gradient for negative input, hvilket adresserer problemet med døende neuroner i ReLU.
Kort fortalt
En aktiveringsfunktion der giver en lille hældning for negative værdier, så neuroner ikke dør helt.
- Kategori
- teknik
- Niveau
- øvet
- Udtale
- /ˈliːki ˈɛl ˈɑːr ˈjuː/
Betydninger
1- 1
En aktiveringsfunktion defineret som f(x) = x for x >= 0 og f(x) = alpha * x for x < 0, hvor alpha typisk er en lille positiv konstant.
- I netværket blev LeakyReLU brugt i de skjulte lag for at forhindre døende neuroner.
- En hældning på 0.01 i LeakyReLU giver en lille gradient for negative input.
Hvornår bruges det
Bruges ofte i dybe neurale netværk som et alternativ til ReLU for at undgå døende ReLU-problemet. Typisk anvendes en hældning på 0.01 for negative input.
Formel
f(x) = x if x >= 0 else alpha * x, where alpha is a small constant (e.g., 0.01)Kodeeksempel
import numpy as np
def leaky_relu(x, alpha=0.01):
return np.where(x >= 0, x, alpha * x)
# Example usage:
x = np.array([-1, 0, 2])
print(leaky_relu(x)) # [-0.01, 0, 2]Simpel implementering af LeakyReLU i Python med NumPy.
Oprindelse
"Leaky" refererer til "lækage" af gradient gennem negative værdier, i modsætning til standard ReLU som blokerer helt.
Afledte ord
1Kilder
1- Rectifier Nonlinearities Improve Neural Network Acoustic Models (Maas et al., 2013)