TPU-v2 pod
En TPU-v2 pod er en samling af 64 TPU v2-chips arrangeret i et 4x4-netværk, designet til at udføre store maskinlæringsopgaver med høj gennemstrømning.
Kort fortalt
TPU-v2 pod er Googles anden generation af TPU'er koblet sammen i et pod-netværk, der gør det muligt at træne store neurale netværk som GPT-3.
- Kategori
- værktøj
- Niveau
- ekspert
Betydninger
1- 1
En TPU-v2 pod er en enkelt enhed i Google Cloud bestående af 64 TPU v2-acceleratorer arrangeret i et 4x4 mesh-netværk, med i alt 4 TB HBM-hukommelse og en samlet ydelse på 180 TFLOPS (bfloat16). Poden bruges til distribueret træning af store maskinlæringsmodeller.
- Google trænede GPT-3-skalamodeller på TPU-v2 pods.
- En TPU-v2 pod kan opnå tæt lineær speedup på tværs af de 64 chips for store modeller.
Hvornår bruges det
TPU-v2 pods anvendes primært i Googles datacentre til at træne store sprogmodeller og andre deep learning-modeller. De understøtter mixed-precision træning (bfloat16) og har et mesh-netværk, der giver høj båndbredde mellem chipsene. Forskere og ingeniører kan leje pods via Google Cloud TPU-tjenesten.
Oprindelse
TPU står for Tensor Processing Unit. Version 2 blev lanceret i 2017, og en pod er en gruppe af disse chips forbundet med et netværk.