Stokastisk backpropagation
En træningsalgoritme til neurale netværk, hvor gradienterne estimeres via stokastisk udvalgte mini-batches og anvendes til at opdatere vægtene via backpropagation.
Kort fortalt
Stokastisk backpropagation er den mest almindelige måde at træne neurale netværk på, hvor man bruger små, tilfældige stikprøver af data til at beregne opdateringer.
- Kategori
- træning
- Niveau
- øvet
Betydninger
1- 1
En optimeringsmetode for neurale netværk, der kombinerer stokastisk gradient descent med backpropagation til at beregne gradienterne.
- I praksis anvendes stokastisk backpropagation til at træne store sprogmodeller som GPT.
- Uden stokastisk backpropagation ville træning af dybe netværk være upraktisk langsomt.
Hvornår bruges det
Stokastisk backpropagation anvendes i næsten al træning af neurale netværk, især når datasættene er store. Det gør træningen hurtigere og mindre hukommelseskrævende end fuld batch-optimering.
Oprindelse
Termen kombinerer 'stokastisk' (af græsk stochastikos, 'gættende') og 'backpropagation' (tilbagekoblet fejlpropagering).
Kilder
2- Rumelhart, D.E., Hinton, G.E., & Williams, R.J. (1986). Learning representations by back-propagating errors.
- Bottou, L. (2010). Large-Scale Machine Learning with Stochastic Gradient Descent.