ReLU
forkortelse for Rectified Linear Unit
ReLU er en aktiveringsfunktion, der returnerer inputværdien, hvis den er positiv, ellers nul.
Kort fortalt
ReLU sørger for, at positive signaler forstærkes, mens negative undertrykkes, hvilket gør neurale netværk mere effektive.
- Kategori
- teknik
- Niveau
- begynder
- Udtale
- 'rɛlu:
Betydninger
1- 1
En aktiveringsfunktion defineret som f(x) = max(0, x), der anvendes i neurale netværk for at introducere ikke-linearitet og forbedre gradientflow.
- Efter hvert konvolutionslag anvendes en ReLU-aktivering for at introducere ikke-linearitet.
Hvornår bruges det
ReLU bruges som standardaktiveringsfunktion i skjulte lag i de fleste dybe neurale netværk på grund af dens enkelhed og evne til at mindske forsvindende gradient-problemet.
Formel
f(x) = max(0, x)Kodeeksempel
def relu(x):
return max(0, x)En simpel implementering af ReLU i Python.
Oprindelse
ReLU står for 'Rectified Linear Unit' og blev introduceret i 2000'erne, men blev populær gennem arbejde af Nair og Hinton i 2010.
Afledte ord
2Kilder
1- Rectified Linear Units Improve Restricted Boltzmann Machines