LeakyReLU-lag
Et aktiveringslag i neurale netværk, der anvender LeakyReLU-funktionen, som tillader en lille, ikke-nul gradient for negative inputværdier.
Kort fortalt
LeakyReLU-lag er et aktiveringslag, der forhindrer neuroner i at dø ved at lade en lille smule signal passere, selv når input er negativt.
- Kategori
- arkitektur
- Niveau
- øvet
- Udtale
- /ˈliːkiːˈrɛl.uː leːˀɣ/
Betydninger
2- 1
Et aktiveringslag, der elementvis anvender LeakyReLU-funktionen og dermed bevarer en lille gradient for negative input.
- Efter det convolutional layer tilføjes et LeakyReLU-lag for at introducere ikke-linearitet. — AI Ordbog (opdigtet)
- Brugen af LeakyReLU-lag i dybe netværk reducerer risikoen for forsvindende gradienter. — AI Ordbog (opdigtet)
- 2
Selve aktiveringsfunktionen LeakyReLU betragtet som et lag i en neurale netværksarkitektur.
- I Keras implementeres LeakyReLU-laget som `tf.keras.layers.LeakyReLU(alpha=0.01)`. — Keras dokumentation
Hvornår bruges det
LeakyReLU-lag bruges typisk efter convolutionelle eller fully connected lag for at introducere ikke-linearitet og undgå problemet med døde ReLU-neuroner. Det er især populært i deep learning-modeller, hvor gradient-flow er kritisk.
Formel
f(x) = x hvis x ≥ 0, ellers α·x, hvor α er en lille konstant (typisk 0,01).Kodeeksempel
from tensorflow.keras.layers import LeakyReLU
model.add(LeakyReLU(alpha=0.01))Eksempel på tilføjelse af et LeakyReLU-lag i en Keras-model med alpha = 0,01.
Oprindelse
Navnet kommer af en kombination af 'leaky' (utæt, dvs. der siver en smule igennem) og ReLU (Rectified Linear Unit), da funktionen tillader en lille negativ hældning.
Afledte ord
2Kilder
2- Rectifier Nonlinearities Improve Neural Network Acoustic Models (Maas et al., 2013)
- Keras LeakyReLU Layer Documentation