PReLU
forkortelse for Parametric Rectified Linear Unit
En aktiveringsfunktion der udvider ReLU med en læreparameter α for negative indputs, så funktionen bliver f(x)=max(0,x)+α·min(0,x).
Kort fortalt
En aktiveringsfunktion der ligesom ReLU lader positive værdier passere uændret, men i stedet for at nulstille negative værdier ganges de med en parameter der kan læres under træning.
- Kategori
- teknik
- Niveau
- øvet
Betydninger
1- 1
En aktiveringsfunktion defineret som f(x) = max(0,x) + α·min(0,x), hvor α er en lærbar parameter.
- Ved at introducere en lærbar parameter α tillader PReLU netværket selv at bestemme hældningen for negative indputs. — He et al., 2015
- PReLU kan trænes med standard backpropagation, og α opdateres via gradient descent.
Hvornår bruges det
PReLU bruges i dybe neurale netværk som et alternativ til ReLU for at undgå døde neuroner og give mere fleksibilitet. Parametrene α læres sammen med netværkets vægte under backpropagation, ofte en fælles α per lag eller per kanal.
Formel
f(x) = max(0, x) + α * min(0, x)Kodeeksempel
import numpy as np
def prelu(x, alpha):
return np.where(x > 0, x, alpha * x)Simpel implementering af PReLU-aktiveringsfunktionen.
Oprindelse
Introduceret af Kaiming He og kolleger i 2015 som en generalisering af ReLU, hvor hældningen for negative værdier gøres lærbar.