bias-term
En bias-term er en ekstra tilføjelse til en neurons vægtede sum, som muliggør forskydning af aktiveringsfunktionen.
Kort fortalt
Bias-term er en parameter i en AI-model, der gør den i stand til at lære mønstre, selv når inputtet er nul.
- Kategori
- begreb
- Niveau
- begynder
- Udtale
- /ˈbaɪ.əs tɜːm/
Betydninger
1- 1
En lærbar parameter, der tilføjes til den vægtede sum i en neuron, så aktiveringsfunktionen kan forskydes.
- Ved at justere bias-termen kan modellen bedre tilpasse sig data, der ikke er centreret omkring nul. — Deep Learning, Goodfellow et al., 2016
Hvornår bruges det
Bias-term bruges i alle former for neurale netværk, i lineære lag og convolutionslag. Den justeres under træning via gradient descent.
Formel
y = f(Σ(wᵢxᵢ) + b)Kodeeksempel
import torch
import torch.nn as nn
layer = nn.Linear(in_features=10, out_features=5, bias=True)
print(layer.bias.shape) # torch.Size([5])Eksempel på et lineært lag med bias i PyTorch.
Oprindelse
Udtrykket 'bias' stammer fra statistik, hvor det betegner en systematisk afvigelse. I neurale netværk introduceres bias som en frihedsgrad.
Afledte ord
2Kilder
1- Deep Learning (Goodfellow et al., 2016)