Zero initialization
Initialisering af alle vægte i et neuralt netværk til nul.
Kort fortalt
En metode, hvor man sætter alle startvægte til nul, hvilket ofte forhindrer læring, fordi alle neuroner opdateres ens.
- Kategori
- teknik
- Niveau
- begynder
Betydninger
1- 1
En initialiseringsstrategi for neurale netværk, hvor alle vægte sættes til nul før træning.
- Zero initialization er kendt for at føre til symmetri og forhindre effektiv læring.
Hvornår bruges det
Bruges sjældent i praksis på grund af symmetriproblemet. Nævnes ofte som et eksempel på, hvad man ikke bør gøre.
Oprindelse
Udtrykket stammer fra behovet for at starte træning med små tilfældige vægte for at bryde symmetri.