parallel computing
Parallel computing er en beregningsmetode, hvor mange beregninger eller processer udføres samtidigt ved at opdele et problem i mindre delopgaver, der løses simultant.
Kort fortalt
Kort fortalt: parallel computing betyder at bruge mange processorer eller computere på én gang til at løse et problem hurtigere.
- Kategori
- teknik
- Niveau
- øvet
Betydninger
2- 1
En beregningsmetode, hvor flere beregningsenheder (f.eks. CPU-kerner, GPU'er eller computere) anvendes samtidigt til at udføre delopgaver af et større problem, med det formål at reducere den samlede eksekveringstid.
- Parallel computing er essentiel for at træne store sprogmodeller som GPT-4.
- 2
Specifikke former for parallel computing, der anvendes i deep learning, herunder data-parallelisme, model-parallelisme og pipeline-parallelisme, som hver især opdeler henholdsvis data, modelparametre eller lag på tværs af enheder.
- Data parallelism er en form for parallel computing, hvor træningsdata opdeles på tværs af flere enheder.
Hvornår bruges det
Parallel computing anvendes i AI til træning af store neurale netværk, behandling af store datasæt og simuleringer. Det er grundlæggende for at udnytte GPU'er og distribuerede clusters effektivt.
Oprindelse
Udtrykket 'parallel computing' stammer fra 1960'erne, hvor de første flerprocessorsystemer blev udviklet. Ordet 'parallel' kommer fra græsk 'parallelos' (ved siden af hinanden) og 'computing' fra latin 'computare' (beregne).
Afledte ord
4Kilder
1- Introduction to Parallel Computing (2003) by Ananth Grama et al.