Transformer-baseret
Transformer-baseret beskriver en model eller et system, der bygger på Transformer-arkitekturen, karakteriseret ved attention-mekanismer og parallel behandling.
Kort fortalt
En model der bruger Transformer-arkitekturen, som er kendt for sin attention-mekanisme og evne til at behandle sekvenser parallelt.
- Kategori
- arkitektur
- Niveau
- øvet
Betydninger
1- 1
Som anvender Transformer-arkitekturen som grundlæggende byggeblok.
- GPT-4 er en transformer-baseret sprogmodel, der excelerer i tekstgenerering.
- Vision Transformer (ViT) er et transformer-baseret netværk til billedklassifikation.
Hvornår bruges det
Termen bruges til at klassificere sprogmodeller som GPT og BERT, men også i andre domæner som billedbehandling (ViT). Det angiver at modellen arver de centrale designvalg fra Transformer-arkitekturen.
Oprindelse
Transformer (fra forskningsartiklen 'Attention Is All You Need', 2017) + '-baseret' (dansk suffiks).
Afledte ord
1Kilder
1- Attention Is All You Need (Vaswani et al., 2017)