Random initialization

1. 1

   Processen med at tildele startværdier til en models parametre, typisk via en tilfældig sandsynlighedsfordeling, før træningsprocessen begynder.

   • Før træning initialiseres alle vægte i netværket med tilfældige små tal. — Generel praksis

Random initialization bruges som standard i næsten al neurale netværkstræning for at bryde symmetri og muliggøre gradientbaseret optimering. Typisk initialiseres vægte med små tilfældige værdier fra en uniform eller normal fordeling.

import numpy as np

# Random initialization of weights for a layer with 10 input and 5 output neurons
np.random.seed(42)
weights = np.random.randn(10, 5) * 0.01

Eksempel på random initialization af vægte i NumPy. Små tilfældige værdier fra en standardnormalfordeling ganget med 0.01.

Udtrykket stammer fra maskinlæring og neurale netværk, hvor man allerede i 1980'erne observerede, at deterministisk initialisering (fx alle nul) forhindrer læring.

• Glorot, X., & Bengio, Y. (2010). Understanding the difficulty of training deep feedforward neural networks.