batch inference engine

1. 1

   En software- eller hardwarekomponent designet til at udføre inferens (forudsigelse) på en samling af inputdata på én gang, ofte med høj gennemstrømning og udnyttelse af parallelisering.

   • Batch inference engine'en behandlede 10.000 billeder på under et minut ved hjælp af en GPU-klynge.
   • Virksomheder anvender batch inference engines til at generere ugentlige købsanbefalinger fra millioner af brugere.

Batch inference bruges typisk i offline-scenarier, hvor der ikke er krav om lav latenstid, fx til generering af forudsigelser på store datasæt. Det optimerer ressourceudnyttelsen ved at udnytte parallel computing, især på GPU'er. Eksempler omfatter billedgenkendelse på millioner af billeder eller batch-generering af tekst.

import torch
from torch.utils.data import DataLoader, TensorDataset

model.eval()
dataset = TensorDataset(inputs)
loader = DataLoader(dataset, batch_size=64)
predictions = []
with torch.no_grad():
    for batch in loader:
        pred = model(batch)
        predictions.append(pred)
predictions = torch.cat(predictions)

Eksempel på batch inferens med PyTorch, hvor en DataLoader opdeler data i batches og modellen behandler hvert batch.

Termen stammer fra forretningsmæssig computing, hvor batch-behandling betyder at udføre en række opgaver uden manuel input. Inference refererer til model-forudsigelse.