TPU-chip
forkortelse for Tensor Processing Unit
En TPU-chip er en specialbygget processor udviklet af Google til at accelerere maskinlæringsberegninger, især tensoroperationer.
Kort fortalt
En TPU-chip er en superhurtig computerchip, der er designet til at gøre træning og kørsel af AI-modeller meget hurtigere end almindelige processorer.
- Kategori
- værktøj
- Niveau
- øvet
- Udtale
- ˈtiː piː ˈjuː tʃɪp
Betydninger
1- 1
En specialiseret ASIC (Application-Specific Integrated Circuit) designet af Google til at udføre hurtige matrix- og vektoroperationer til machine learning, med fokus på lav præcision (fx bfloat16) for at opnå høj gennemstrømning.
- Googles TPU-chip kan udføre op til 100 teraops per sekund per chip. — Google Cloud documentation
- BERT-modellen blev oprindeligt trænet på et cluster af TPU-chips. — Devlin et al., 2019
Hvornår bruges det
TPU-chips bruges primært i Googles datacentre til at træne og køre store neurale netværk. De er også tilgængelige via Google Cloud TPU-tjenesten til eksterne brugere. TPU'er er optimeret til matrix-multiplikationer og andre tensoroperationer, som er centrale i deep learning.
Kodeeksempel
import tensorflow as tf
resolver = tf.distribute.cluster_resolver.TPUClusterResolver()
tf.config.experimental_connect_to_cluster(resolver)
tf.tpu.experimental.initialize_tpu_system(resolver)
strategy = tf.distribute.TPUStrategy(resolver)
# Brug strategy.scope() til at definere model og træningEksempel på initialisering af en TPU-klynge i TensorFlow, så modellen kan trænes på TPU-chips.
Oprindelse
TPU står for 'Tensor Processing Unit'. Ordet 'tensor' henviser til de multidimensionelle arrays, som er grundlæggende i deep learning. Google annoncerede den første TPU i 2016.
Afledte ord
2Kilder
2- In-Datacenter Performance Analysis of a Tensor Processing Unit (2017)
- Google Cloud TPU documentation