PReLU-lag
forkortelse for Parametric Rectified Linear Unit lag
Et neuralt netværkslag, der anvender den parametrisk rettede lineære enhed (PReLU) som aktiveringsfunktion, hvilket giver mulighed for at lære hældningen for negative inputværdier under træning.
Kort fortalt
PReLU-lag er et lag i et neuralt netværk, der anvender en aktiveringsfunktion, som selv kan lære, hvor meget den skal dæmpe negative signaler.
- Kategori
- arkitektur
- Niveau
- øvet
- Udtale
- ˈpriːluː ˌlæɡ
Betydninger
1- 1
Et neurale netværkslag, der anvender PReLU-aktiveringsfunktionen, som har en lærebar parameter for negative input.
- I et konvolutionelt neuralt netværk erstattes ReLU-lag ofte med PReLU-lag for at forbedre indlæringen i de tidligere lag. — He et al., 2015
- PReLU-lagets lærebare hældning kan hjælpe med at forhindre, at gradienter forsvinder i dybe netværk.
Hvornår bruges det
PReLU-lag anvendes typisk i dybe konvolutionelle neurale netværk som en forbedring af standard ReLU-lag, da de kan reducere problemet med 'døende neuroner' ved at tillade en lille, lærebar hældning for negative aktiveringer. De er særligt nyttige i modeller med mange lag, hvor gradienterne ellers kan forsvinde.
Formel
f(x, a) = max(0, x) + a * min(0, x), hvor a er en lærebar parameterKodeeksempel
import torch.nn as nn
model = nn.Sequential(
nn.Conv2d(3, 64, 3),
nn.PReLU(num_parameters=1) # PReLU-lag med en fælles lærebar parameter
)Eksempel på brug af PReLU-lag i et convolutional neural netværk i PyTorch.
Oprindelse
PReLU står for Parametric Rectified Linear Unit, og 'lag' henviser til et netværkslag. Funktionen blev introduceret af He et al. i 2015 som en udvidelse af ReLU.