Parametric ReLU

forkortelse for Parametric Rectified Linear Unit

Parametric ReLU (PReLU) er en aktiveringsfunktion, der tillader en lærebar hældning for negative input, hvilket giver modellen fleksibilitet til at tilpasse ikke-lineariteten.

Kort fortalt

Parametric ReLU er en forbedret version af ReLU, hvor den negative del har en lærebar hældning i stedet for at være nul.

Kategori
arkitektur
Niveau
øvet
Udtale
/pəˈræmɪtrɪk ˈrɛluː/

Betydninger

1
  1. 1

    En aktiveringsfunktion defineret som f(x)=max(0,x)+a*min(0,x), hvor a er en lærebar parameter, der tillader en ikke-nul hældning for negative værdier.

    • I implementeringen anvendes Parametric ReLU med en initial hældning på 0.25.
    • Parametric ReLU forbedrer indlæringen ved at give netværket mulighed for at tilpasse aktiveringsfunktionen til dataene. — He et al., 2015

Hvornår bruges det

Parametric ReLU anvendes ofte i dybe neurale netværk som en erstatning for standard ReLU for at forbedre modelkapaciteten, især i opgaver som billedgenkendelse. Den lærebare parameter gør det muligt for netværket at bestemme den optimale hældning for negative værdier under træning.

Formel

f(x) = max(0, x) + a * min(0, x), where a is a learnable parameter.

Kodeeksempel

import torch
import torch.nn as nn

class PReLU(nn.Module):
    def __init__(self, num_parameters=1, init=0.25):
        super().__init__()
        self.weight = nn.Parameter(torch.full((num_parameters,), init))
    def forward(self, x):
        return torch.where(x >= 0, x, self.weight * x)

En simpel PyTorch-implementering af Parametric ReLU med en lærebar vægt.

Oprindelse

Parametric ReLU introduceres i 2015 af He et al. som en videreudvikling af ReLU og Leaky ReLU. 'Parametric' henviser til den lærebare parameter a, der styrer hældningen for negative input.

Afledte ord

1
PReLU

Kilder

1

Se også

Mere

Flere i arkitektur →Tilfældigt opslag →