dropout-lag
Et dropout-lag er et regulariseringslag i et neuralt netværk, der tilfældigt deaktiverer en brøkdel af neuronerne under træning for at forhindre overfitting.
Kort fortalt
Kort fortalt: et dropout-lag skruer tilfældigt ned for nogle af neuronerne i netværket, så modellen ikke bliver for god til at huske træningsdataene, men i stedet lærer generelle mønstre.
- Kategori
- teknik
- Niveau
- øvet
Betydninger
1- 1
Et regulariseringslag i et neuralt netværk, der under træning tilfældigt deaktiverer en angivet andel af neuronerne for at forhindre overfitting.
- Vi tilføjede et dropout-lag med en rate på 0,5 efter det sidste fuldt forbundne lag for at reducere overfitting.
- Under inferens er dropout-laget deaktiveret, og alle neuroner bidrager til outputtet.
Hvornår bruges det
Dropout-lag bruges typisk efter fuldt forbundne lag eller convolutional lag for at reducere risikoen for overfitting, især i store netværk med mange parametre. Under inferens anvendes alle neuroner, men deres vægte skaleres med dropout-raten.
Kodeeksempel
model.add(tf.keras.layers.Dropout(rate=0.5))Eksempel på tilføjelse af et dropout-lag i Keras med en rate på 0,5.
Oprindelse
Termen 'dropout' refererer til, at neuroner 'dropper ud' (deaktiveres) tilfældigt under træning. Laget blev introduceret af Srivastava et al. i 2014.
Kilder
1- Srivastava et al. (2014) 'Dropout: A Simple Way to Prevent Neural Networks from Overfitting'