ReLU-aktiveringsfunktion
forkortelse for Rectified Linear Unit
ReLU-aktiveringsfunktionen er en ikke-lineær aktiveringsfunktion defineret som f(x) = max(0, x), der anvendes i neurale netværk for at introducere ikke-linearitet.
Kort fortalt
ReLU giver output x for positive input og 0 for negative, hvilket gør den enkel og effektiv til dybe neurale netværk.
- Kategori
- begreb
- Niveau
- begynder
Betydninger
1- 1
En aktiveringsfunktion i kunstige neurale netværk, defineret som f(x) = max(0, x), der returnerer input direkte for positive værdier og 0 for negative værdier.
- I et convolutional neural netværk anvendes ReLU-aktiveringsfunktionen efter hvert convolutional lag for at introducere ikke-linearitet.
- ReLU hjælper med at undgå gradientforsvindingsproblemet, som er almindeligt ved sigmoid-aktiveringsfunktionen.
Hvornår bruges det
ReLU er den mest anvendte aktiveringsfunktion i skjulte lag af dybe neurale netværk, især i convolutional netværk, på grund af dens beregningseffektivitet og evne til at mindske gradientforsvindingsproblemet. Den bruges ofte som standardvalg, men kan føre til 'døende ReLU'-problemet, hvor neuroner bliver inaktive.
Formel
f(x) = max(0, x)Kodeeksempel
import numpy as np
def relu(x):
return np.maximum(0, x)
# Example usage
x = np.array([-2, -1, 0, 1, 2])
print(relu(x)) # Output: [0 0 0 1 2]En simpel Python-implementering af ReLU-funktionen med NumPy.
Oprindelse
ReLU står for Rectified Linear Unit, inspireret af ensretteren (rectifier) i elektroteknik. Udtrykket blev populært i neurale netværk omkring 2010 af Nair og Hinton.
Afledte ord
3Kilder
2- Rectified Linear Units Improve Restricted Boltzmann Machines (Nair & Hinton, 2010)
- Deep Learning (Goodfellow, Bengio, Courville, 2016)