internal covariate shift
Internal covariate shift beskriver fænomenet, hvor fordelingen af input til et lag i et neuralt netværk ændrer sig under træning, fordi parametrene i tidligere lag opdateres.
Kort fortalt
Når et neuralt netværk træner, ændrer de foregående lag sig, hvilket ændrer inputfordelingen til senere lag – det kaldes internal covariate shift.
- Kategori
- begreb
- Niveau
- ekspert
Betydninger
1- 1
Den ændring i fordelingen af input til et lag i et neuralt netværk, der skyldes opdateringer af parametrene i tidligere lag under træning.
- Batch normalisering reducerer internal covariate shift ved at normalisere hvert lags input. — Ioffe & Szegedy, 2015
Hvornår bruges det
Begrebet blev introduceret af Ioffe & Szegedy (2015) i forbindelse med batch normalisering, som er en metode til at reducere internal covariate shift ved at normalisere laginput. Det er centralt i forståelsen af, hvorfor dybe netværk kan være svære at træne, og det motiverer teknikker som batch normalisering, layer normalisering osv.
Oprindelse
Udtrykket er dannet af 'intern' (inden for netværket) og 'covariate shift' (et statistisk begreb, hvor fordelingen af en inputvariabel ændrer sig) – altså en forskydning af inputfordelingen internt i netværket.
Kilder
1- Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift