batch-størrelse
Batch-størrelse er antallet af træningseksempler, der behandles samtidigt i en enkelt iteration under træning af en maskinlæringsmodel.
Kort fortalt
Kort fortalt: batch-størrelse bestemmer, hvor mange datapunkter modellen ser på én gang, før den opdaterer sine vægte.
- Kategori
- træning
- Niveau
- begynder
- Udtale
- /ˈbætʃˌstɶɐ̯lsə/
Betydninger
1- 1
Størrelsen af en mini-batch, dvs. antallet af træningseksempler, der anvendes til at beregne gradienten i én opdatering af modelvægtene under træning.
- Vi trænede modellen med en batch-størrelse på 32 for at balancere hukommelsesforbrug og træningshastighed.
- En for stor batch-størrelse kan føre til dårligere generalisering på grund af skarpere minima.
Hvornår bruges det
Batch-størrelse er en vigtig hyperparameter, der påvirker træningshastighed, hukommelsesforbrug og modelstabilitet. Stor batch-størrelse kræver mere hukommelse men kan give mere stabile gradienter, mens lille batch-størrelse ofte giver hurtigere konvergens og bedre generalisering.
Oprindelse
Begrebet stammer fra traditionel gradient descent-optimering, hvor 'batch' refererer til et sæt af data, der bruges til at beregne gradienten.
Afledte ord
2Kilder
1- Ruder, S. (2016). An overview of gradient descent optimization algorithms.