activation layer
Et aktiveringslag er et lag i et neuralt netværk, der anvender en ikke-lineær funktion på inputtet for at introducere ikke-linearitet.
Kort fortalt
En simpel komponent i et neuralt netværk, der bestemmer, om en neuron skal aktiveres baseret på inputtet.
- Kategori
- arkitektur
- Niveau
- begynder
Betydninger
1- 1
Et lag i et neuralt netværk, der anvender en aktiveringsfunktion (f.eks. ReLU, sigmoid, tanh) på hver neuron for at introducere ikke-linearitet og muliggøre læring af komplekse funktioner.
- Efter det convolutional lag føjes et ReLU-aktiveringslag for at indføre ikke-linearitet.
- I outputlaget anvendes et sigmoid-aktiveringslag til binær klassifikation.
Hvornår bruges det
Aktiveringslag placeres typisk efter et fuldt forbundet lag eller et convolutional lag. De er essentielle for at modellen kan lære komplekse mønstre.
Kodeeksempel
import torch.nn as nn
relu = nn.ReLU()
output = relu(input_tensor)Oprettelse og anvendelse af et ReLU-aktiveringslag i PyTorch.
Oprindelse
Udtrykket kommer af 'activation function' (aktiveringsfunktion) og 'layer' (lag).
Afledte ord
2Kilder
1- Goodfellow et al., Deep Learning (2016)