mini-batch size
Mini-batch size er antallet af træningseksempler, der behandles i én iteration under gradientnedstigning.
Kort fortalt
Kort fortalt: Mini-batch size bestemmer, hvor mange eksempler modellen ser ad gangen, når den opdaterer sine vægte.
- Kategori
- træning
- Niveau
- øvet
- Udtale
- /ˈmɪniˌbætʃ saɪz/
Betydninger
1- 1
Antallet af træningseksempler i en minibatch, brugt som hyperparameter i gradientbaseret optimering.
- Vi eksperimenterede med en mini-batch size på 64, hvilket gav den bedste konvergens.
- En for lille mini-batch size kan føre til støjende gradienter.
Hvornår bruges det
Mini-batch size er en central hyperparameter i træning af neurale netværk. Den vælges typisk som en potens af to (fx 32, 64, 128, 256) af hensyn til hardwareoptimering. En større batch size giver mere præcise gradientestimater, men kræver mere hukommelse.
Kodeeksempel
from torch.utils.data import DataLoader
train_loader = DataLoader(train_dataset, batch_size=64, shuffle=True)Oprettelse af en DataLoader med en mini-batch size på 64
Oprindelse
Udtrykket kommer fra engelsk: 'mini' (lille) + 'batch' (hold/sæt) + 'size' (størrelse). Konceptet stammer fra stokastisk gradientnedstigning, hvor man bruger undergrupper af data.