batch size
Antallet af træningseksempler, der behandles i én iteration under træning af en model.
Kort fortalt
Batch size bestemmer, hvor mange datapunkter modellen ser ad gangen, før den opdaterer vægtene.
- Kategori
- træning
- Niveau
- begynder
- Udtale
- /bætʃ saɪz/
Betydninger
1- 1
I maskinlæring: antallet af træningseksempler, der anvendes i én frem- og tilbagepropagering, før modelvægtene opdateres.
- Vi brugte en batch size på 32 til at træne convolutional neural network på CIFAR-10 datasættet.
- En for stor batch size kan føre til dårligere generalisering og øget hukommelsesforbrug.
Hvornår bruges det
Batch size er en hyperparameter, der vælges før træning. Den påvirker både hukommelsesforbrug (større batch kræver mere GPU-hukommelse) og træningsstabilitet. Typiske værdier er 16, 32, 64, 128 eller 256, afhængigt af hardware og problemets kompleksitet.
Kodeeksempel
from torch.utils.data import DataLoader
dataloader = DataLoader(dataset, batch_size=64, shuffle=True)
for batch in dataloader:
# forward + backward pass
passEksempel på indstilling af batch size i PyTorch DataLoader.
Oprindelse
Udtrykket stammer fra batch-processing i computervidenskab, hvor data behandles i grupper (batches) i stedet for individuelt.