model serving pipeline
En model serving pipeline er et automatiseret system, der håndterer forbehandling, inferens og efterbehandling af data, så en maskinlæringsmodel kan betjenes som en API i produktion.
Kort fortalt
Det er en række trin, der gør en trænet AI-model klar til at modtage forespørgsler og returnere svar i realtid.
- Kategori
- teknik
- Niveau
- øvet
Betydninger
1- 1
Den tekniske implementering af en sekvens af trin, der forbereder data, udfører inferens og bearbejder output, typisk i en containeriseret og skalerbar arkitektur.
- Vi byggede en model serving pipeline med FastAPI, der automatisk skalerer under høj belastning.
- Pipeline'en inkluderer feature-engineering, model-inferens og validering af output.
Hvornår bruges det
Model serving pipelines bruges i produktionsmiljøer til at deployere og skalere modeller, typisk via containerisering (f.eks. Docker) og orkestrering (f.eks. Kubernetes). De sikrer lav latenstid, høj oppetid og mulighed for A/B-testning.
Kodeeksempel
from bentoml import Service
import numpy as np
svc = Service(name="my_model")
@svc.api(input=np.ndarray, output=np.ndarray)
def predict(input_data):
# model inference logic
return model.predict(input_data)Eksempel på en model serving pipeline med BentoML. Servicen definerer et API-endepunkt der accepterer numpy arrays og returnerer forudsigelser.
Oprindelse
Udtrykket 'serving' kommer fra servering af en model som en service, og 'pipeline' refererer til rækkefølgen af databehandlingstrin.
Afledte ord
2Kilder
2- MLflow Model Serving Documentation
- BentoML Documentation