Edge TPU
Edge TPU er en lille, strømbesparende ASIC fra Google, der accelererer inferens af maskinlæringsmodeller på edge-enheder.
Kort fortalt
En lille chip, der gør det muligt at køre AI-modeller hurtigt direkte på enheder som kameraer eller sensorer uden at sende data til skyen.
- Kategori
- værktøj
- Niveau
- øvet
- Udtale
- ˈɛdʒ tiː piː juː
Betydninger
1- 1
En dedikeret hardwareaccelerator designet til at køre inferens af maskinlæringsmodeller med høj ydeevne og lavt strømforbrug på edge-enheder.
- Edge TPU'en på Coral Dev Board kan køre MobileNet V2 med over 100 FPS ved kun 2 watt. — Coral officiel dokumentation
- Ved at kompilere en TensorFlow Lite-model til Edge TPU opnås en betydelig hastighedsforøgelse sammenlignet med CPU-inferens.
Hvornår bruges det
Edge TPU bruges primært i edge computing-scenarier, hvor lav latens og offline drift er vigtig. Den implementeres ofte med TensorFlow Lite-modeller, der er kompileret til Edge TPU's instruktionssæt via Coral-værktøjerne.
Kodeeksempel
import tflite_runtime.interpreter as tflite
import numpy as np
# Load model compiled for Edge TPU
interpreter = tflite.Interpreter(model_path='model_edgetpu.tflite',
experimental_delegates=[tflite.load_delegate('libedgetpu.so.1')])
interpreter.allocate_tensors()
# Run inference
input_details = interpreter.get_input_details()
output_details = interpreter.get_output_details()
interpreter.set_tensor(input_details[0]['index'], input_data)
interpreter.invoke()
output_data = interpreter.get_tensor(output_details[0]['index'])Eksempel på inferens med TensorFlow Lite og Edge TPU-delegatet på en Coral-enhed.
Oprindelse
'Edge' henviser til edge computing, hvor data behandles tæt på kilden. 'TPU' står for Tensor Processing Unit, Googles specialbyggede ASIC til tensoroperationer. Edge TPU blev lanceret i 2018 som en mindre, strømbesparende version af datacenter-TPU'en.