ONNX Runtime
forkortelse for Open Neural Network Exchange Runtime
ONNX Runtime er en open-source, krydsplatforms-inferensmotor til maskinlæringsmodeller, der optimerer og udfører modeller i ONNX-formatet.
Kort fortalt
Et værktøj til at køre trænede AI-modeller hurtigt på forskellige enheder uden at skulle ændre koden.
- Kategori
- værktøj
- Niveau
- øvet
Betydninger
1- 1
En krydsplatforms-inferensmotor, der udfører ONNX-modeller med hardwareoptimering og understøttelse af flere execution providers.
- ONNX Runtime kan udføre en TensorFlow-model, der er konverteret til ONNX-formatet. — Microsoft ONNX Runtime dokumentation
- Ved at bruge ONNX Runtime opnås der ofte en betydelig hastighedsforøgelse i forhold til den oprindelige frameworks inferens.
Hvornår bruges det
ONNX Runtime bruges til at implementere modeller i produktion, især når der kræves høj ydeevne og lav latenstid på tværs af forskellige hardwareplatforme som CPU, GPU og specialiserede acceleratorer.
Kodeeksempel
import onnxruntime as ort
# Opret en inferenssession med en ONNX-model
session = ort.InferenceSession('model.onnx')
# Forbered input (eksempel med numpy-array)
import numpy as np
input_data = np.random.randn(1, 3, 224, 224).astype(np.float32)
# Kør inferens
outputs = session.run(None, {'input': input_data})Eksempel på indlæsning og inferens med ONNX Runtime i Python.
Oprindelse
ONNX Runtime er udviklet af Microsoft og bygger på det åbne ONNX-format (Open Neural Network Exchange), som blev skabt i 2017 af Microsoft og Facebook til at repræsentere maskinlæringsmodeller på en standardiseret måde.
Afledte ord
2Kilder
2- ONNX Runtime GitHub Repository
- ONNX Runtime Documentation (Microsoft)