ReLU activation
forkortelse for Rectified Linear Unit
ReLU (Rectified Linear Unit) er en aktiveringsfunktion, der returnerer inputværdien, hvis den er positiv, ellers 0.
Kort fortalt
En simpel funktion, der sætter negative værdier til nul og lader positive værdier passere uændret.
- Kategori
- begreb
- Niveau
- begynder
- Udtale
- /ˈrɛl.uː/
Betydninger
1- 1
ReLU er en aktiveringsfunktion defineret som f(x) = max(0, x), der anvendes i neurale netværk for at indføre ikke-linearitet.
- ReLU-aktiveringen anvendes ofte i skjulte lag for at forbedre indlæringshastigheden.
Hvornår bruges det
ReLU bruges næsten universelt i dybe neurale netværk, især i convolutional neural networks og transformere, på grund af dens enkelhed og evne til at undgå vanishing gradient-problemet.
Formel
f(x) = max(0, x)Kodeeksempel
def relu(x):
return max(0, x)Simpel implementering af ReLU-aktiveringsfunktionen i Python.
Oprindelse
Termen blev først introduceret af Hahnloser et al. i 2000, men populariseret af Nair og Hinton i 2010.
Afledte ord
3Kilder
2- Rectified Linear Units Improve Restricted Boltzmann Machines (Nair & Hinton, 2010)
- Deep Learning (Goodfellow, Bengio, Courville, 2016)