Parametric ReLU
forkortelse for Parametric Rectified Linear Unit
Parametric ReLU (PReLU) er en aktiveringsfunktion, der tillader en lærebar hældning for negative input, hvilket giver modellen fleksibilitet til at tilpasse ikke-lineariteten.
Kort fortalt
Parametric ReLU er en forbedret version af ReLU, hvor den negative del har en lærebar hældning i stedet for at være nul.
- Kategori
- arkitektur
- Niveau
- øvet
- Udtale
- /pəˈræmɪtrɪk ˈrɛluː/
Betydninger
1- 1
En aktiveringsfunktion defineret som f(x)=max(0,x)+a*min(0,x), hvor a er en lærebar parameter, der tillader en ikke-nul hældning for negative værdier.
- I implementeringen anvendes Parametric ReLU med en initial hældning på 0.25.
- Parametric ReLU forbedrer indlæringen ved at give netværket mulighed for at tilpasse aktiveringsfunktionen til dataene. — He et al., 2015
Hvornår bruges det
Parametric ReLU anvendes ofte i dybe neurale netværk som en erstatning for standard ReLU for at forbedre modelkapaciteten, især i opgaver som billedgenkendelse. Den lærebare parameter gør det muligt for netværket at bestemme den optimale hældning for negative værdier under træning.
Formel
f(x) = max(0, x) + a * min(0, x), where a is a learnable parameter.Kodeeksempel
import torch
import torch.nn as nn
class PReLU(nn.Module):
def __init__(self, num_parameters=1, init=0.25):
super().__init__()
self.weight = nn.Parameter(torch.full((num_parameters,), init))
def forward(self, x):
return torch.where(x >= 0, x, self.weight * x)En simpel PyTorch-implementering af Parametric ReLU med en lærebar vægt.
Oprindelse
Parametric ReLU introduceres i 2015 af He et al. som en videreudvikling af ReLU og Leaky ReLU. 'Parametric' henviser til den lærebare parameter a, der styrer hældningen for negative input.