Dropout
Dropout er en regulariseringsteknik, hvor tilfældige neuroner midlertidigt fjernes under træning for at mindske overfitting.
Kort fortalt
Dropout slår tilfældige neuroner fra under træning for at forhindre, at netværket bliver for afhængigt af bestemte neuroner.
- Kategori
- teknik
- Niveau
- øvet
Betydninger
1- 1
Regulariseringsteknik, hvor tilfældigt udvalgte neuroner midlertidigt ignoreres under træning for at forhindre overfitting.
- Vi anvender dropout med en rate på 0,5 i det skjulte lag.
- Dropout har vist sig at forbedre generaliseringsevnen i dybe neurale netværk.
Hvornår bruges det
Dropout bruges typisk i fuldt forbundne lag i neurale netværk under træning. Det hjælper med at forhindre overfitting ved at tvinge netværket til at lære mere robuste repræsentationer. Dropout deaktiveres under inferens, men neuronernes vægte skaleres med bevarelsesraten.
Kodeeksempel
from tensorflow.keras.layers import Dropout
model.add(Dropout(0.5))Tilføjelse af et dropout-lag med en rate på 0,5 i Keras.
Oprindelse
Begrebet stammer fra det engelske 'drop out' (falde ud) og blev introduceret af Srivastava et al. i 2014.
Afledte ord
2Kilder
1- Dropout: A Simple Way to Prevent Neural Networks from Overfitting