bias-parameter
En bias-parameter er et justerbart tal i et neuralt netværk, der tilføjes til den vægtede sum af input for at forskyde aktiveringsfunktionen.
Kort fortalt
Bias-parameteren fungerer som et justerbart offset, der hjælper modellen med at tilpasse sig data, selv når alle input er nul.
- Kategori
- begreb
- Niveau
- begynder
- Udtale
- /ˈbaɪəs pəˈræmɪtər/
Betydninger
1- 1
I kunstige neurale netværk: en lærbar skalar, der adderes til den vægtede sum af inputværdier i en neuron, før aktiveringsfunktionen anvendes.
- I et lineært lag y = Wx + b er b bias-parameteren, der gør det muligt for modellen at lære en konstant forskydning. — Standard lærebog om deep learning, 2023
- Uden bias-parameteren ville beslutningsgrænsen i en perceptron altid gå gennem origo, hvilket begrænser modellens udtrykskraft. — Neural Networks and Deep Learning, 2022
Hvornår bruges det
Bias-parametre bruges i alle fuldt forbundne lag, konvolutionelle lag og i mange andre neurale netværkskomponenter for at øge modellens fleksibilitet. De opdateres under træning via backpropagation sammen med vægtene.
Formel
y = Wx + bKodeeksempel
import torch
import torch.nn as nn
# A simple linear layer with bias
layer = nn.Linear(in_features=4, out_features=3, bias=True)
# The bias parameter is stored in layer.bias
print(layer.bias)Opretter et lineært lag med 4 input og 3 output, inklusiv bias-parameter. Bias-parametrene er tilgængelige som layer.bias.
Oprindelse
Fra engelsk 'bias' (tilbøjelighed) og 'parameter' (størrelse der bestemmer systemets opførsel). I statistik betegner 'bias' en systematisk afvigelse; i neurale netværk er bias en fast forskyvning.
Afledte ord
2Kilder
2- Deep Learning (Goodfellow, Bengio, Courville)
- Neural Networks and Deep Learning (Michael Nielsen)