inference pipeline
En inference pipeline er en sekvens af forarbejdningstrin, der anvender en trænet model til at producere forudsigelser fra rå inputdata.
Kort fortalt
Kort fortalt: Det er den automatiserede række af operationer, der gør et rådatapunkt til en færdig forudsigelse — fx at indlæse et billede, skalere det, køre det gennem et neuralt netværk og fortolke outputtet.
- Kategori
- teknik
- Niveau
- øvet
Betydninger
1- 1
En struktureret sekvens af softwarekomponenter, der udfører datatransformation og modelforudsigelse på nye data.
- Inference pipelinen omfattede en image-resizer, en normaliseringsfunktion og en TensorFlow-model. — Eksempel fra praksis
Hvornår bruges det
Inference pipelines bruges i produktionssystemer, hvor modeller skal betjene forudsigelser i realtid eller batch. Typiske komponenter omfatter datapreprocessing, feature-ekstraktion, modelforudsigelse og postprocessing. De implementeres ofte med værktøjer som TensorFlow Serving, MLflow eller Kubernetes.
Kodeeksempel
import joblib
import numpy as np
class InferencePipeline:
def __init__(self, model_path, scaler_path):
self.model = joblib.load(model_path)
self.scaler = joblib.load(scaler_path)
def predict(self, raw_data):
# Preprocessing
scaled = self.scaler.transform(raw_data)
# Inference
pred = self.model.predict(scaled)
# Postprocessing (example: threshold)
result = (pred > 0.5).astype(int)
return resultSimpel Python-klasse, der indkapsler en inference pipeline med skalering, modelforudsigelse og tærskelværdijustering.
Oprindelse
Ordet 'inference' stammer fra latin 'inferre' (bringe ind) og 'pipeline' kommer fra IT-terminologi om rørledninger, der transporterer data mellem processer.
Afledte ord
2Kilder
2- Hidden Technical Debt in Machine Learning Systems (Sculley et al., 2015)
- MLflow: A Platform for ML Development (Zaharia et al., 2018)