model serving framework
Et model serving framework er en softwareplatform, der muliggør deployment, hosting og inferens af maskinlæringsmodeller i produktion via en API.
Kort fortalt
Det er en værktøjskasse, der gør det nemt at få dine trænede AI-modeller ud at køre på en server, så andre programmer kan bruge dem.
- Kategori
- værktøj
- Niveau
- øvet
- Udtale
- /ˈmɒdəl ˈsɜːvɪŋ ˈfreɪmwɜːk/
Betydninger
1- 1
Et system eller værktøj, der standardiserer deployment og inferens af maskinlæringsmodeller, typisk med understøttelse af REST- eller gRPC-grænseflader, lastbalancering og skalerbarhed.
- Virksomheden implementerede et model serving framework for at kunne betjene deres købsalgoritme med lav latenstid.
- TensorFlow Serving er et model serving framework, der understøtter hot-swap af modelversioner. — TensorFlow dokumentation
Hvornår bruges det
Model serving frameworks bruges i produktionsmiljøer, hvor modeller skal håndtere forespørgsler i realtid eller batch. De håndterer versionsstyring, skalering, logning og ofte også A/B-test. Populære eksempler er TensorFlow Serving, TorchServe og MLflow Models.
Kodeeksempel
mlflow models serve -m runs:/<run_id>/model --port 5001Eksempel på at starte en MLflow model server lokalt med en specifik model og port.
Oprindelse
Sammensat af 'model serving' (betjening af modeller) og 'framework' (rammeværk). Udtrykket opstod med behovet for at eksekvere machine learning-modeller i produktion.