TensorFlow Serving

TensorFlow Serving er et fleksibelt, high-performance system til at serve machine learning-modeller i produktion, designet til at integrere med TensorFlow, men understøtter også andre frameworks.

Kort fortalt

TensorFlow Serving er en server, der gør det nemt at deploye og betjene ML-modeller via API.

Kategori
værktøj
Niveau
øvet
Udtale
/ˈtɛnsərfloʊ ˈsɜːrvɪŋ/

Betydninger

1
  1. 1

    Et system designet til at serve machine learning-modeller i produktion med høj ydeevne og fleksibilitet. Det håndterer modelversionering, caching og load-balancing.

    • Vi deployerede den trænede TensorFlow-model ved hjælp af TensorFlow Serving for at håndtere 10.000 forespørgsler i sekundet.
    • TensorFlow Serving's understøttelse af gRPC gør det ideelt til højtydende inferens i microservice-arkitekturer.

Hvornår bruges det

TensorFlow Serving bruges typisk til at eksponere trænede modeller via REST- eller gRPC-endpoints i produktion. Det understøtter automatisk versionering, model-hot-swapping og batch-forespørgsler, hvilket gør det velegnet til store deployments.

Kodeeksempel

docker run -p 8501:8501 \
  --mount type=bind,source=/tmp/model,target=/models/mymodel \
  -e MODEL_NAME=mymodel \
  -t tensorflow/serving

Start en TensorFlow Serving-server med Docker, der binder en model fra værten til containeren.

Oprindelse

Navnet er en sammensætning af 'TensorFlow', Googles open-source machine learning-rammeværk, og 'serving', der henviser til dets rolle som server til modeller.

Afledte ord

2
TensorFlow Serving APITensorFlow Serving model versioning

Kilder

2
  • TensorFlow-Serving: Flexible, High-Performance ML Serving (Olston et al., 2017)
  • TensorFlow Serving Documentation

Se også

Mere

Flere i værktøj →Tilfældigt opslag →