vægtinitialisering
Teknik til at fastsætte startværdierne for en neural netværks modelparametre før træning.
Kort fortalt
Når man træner et neuralt netværk, skal vægtene starte et sted – vægtinitialisering bestemmer de første værdier, så træningen ikke mislykkes.
- Kategori
- teknik
- Niveau
- øvet
Betydninger
1- 1
Processen med at tildele startværdier til en neurale netværks vægte og bias før træningsprocessen påbegyndes.
- God vægtinitialisering kan forhindre forsvindende gradienter i dybe netværk.
- Xavier-initialisering er en populær metode til vægtinitialisering i sigmoide aktiveringsfunktioner.
Hvornår bruges det
Vægtinitialisering anvendes i begyndelsen af træningsprocessen for alle neurale netværk. Korrekt initialisering er kritisk for at undgå problemer som forsvindende eller eksploderende gradienter og for at fremskynde konvergens.
Kodeeksempel
import torch
import torch.nn as nn
model = nn.Linear(10, 5)
# Initialize weights with Xavier uniform
nn.init.xavier_uniform_(model.weight)
# Initialize biases to zero
nn.init.constant_(model.bias, 0)Eksempel på Xavier-uniform initialisering af vægte i et lineært lag i PyTorch.
Oprindelse
Sammensat af 'vægt' (modelparameter) og 'initialisering' (fastsættelse af startværdi).
Kilder
2- Understanding the difficulty of training deep feedforward neural networks (Glorot & Bengio, 2010)
- Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification (He et al., 2015)