Edge inference
Kørsel af en trænet maskinlæringsmodel på en lokal enhed (fx mobiltelefon eller IoT-enhed) i stedet for i skyen.
Kort fortalt
Edge inference betyder, at en AI-model kører direkte på din telefon eller enhed, så du ikke behøver at sende data til skyen.
- Kategori
- teknik
- Niveau
- øvet
Betydninger
1- 1
Udførelse af inferens (prediction) ved hjælp af en trænet maskinlæringsmodel direkte på en edge-enhed, ofte under ressourcebegrænsninger som begrænset hukommelse, strømforbrug og regnekraft.
- Edge inference muliggør realtidsgenkendelse på mobilen uden at sende billeder til serveren.
- Ved hjælp af TensorFlow Lite kan man implementere edge inference på Android-enheder. — TensorFlow dokumentation
Hvornår bruges det
Edge inference bruges i applikationer, hvor lav latenstid, offline-funktionalitet eller databeskyttelse er vigtig, fx i smartphones (ansigtsgenkendelse), IoT-sensorer og autonome køretøjer. Modellerne optimeres typisk til små fodtryk via kvantisering, pruning eller modelkomprimering.
Kodeeksempel
# Load TFLite model and allocate tensors
interpreter = tf.lite.Interpreter(model_path="model.tflite")
interpreter.allocate_tensors()
# Get input and output tensors
input_details = interpreter.get_input_details()
output_details = interpreter.get_output_details()
# Test model on random input data
input_data = np.array(np.random.random_sample((1, 224, 224, 3)), dtype=np.float32)
interpreter.set_tensor(input_details[0]['index'], input_data)
interpreter.invoke()
output_data = interpreter.get_tensor(output_details[0]['index'])
print(output_data)Eksempel på inferens med en TensorFlow Lite-model i Python (typisk brugt til edge-inferens for at teste modellen). I praksis køres koden ofte på en edge-enhed ved hjælp af en optimeret runtime.
Oprindelse
Engelsk 'edge' (kant, rand) + 'inference' (slutning, inferens). Udtrykket opstod med fremkomsten af edge computing og behovet for at køre AI lokalt.