autoregressiv generation
En genereringsteknik, hvor hvert nyt token i en sekvens forudsiges baseret på alle tidligere genererede tokens.
Kort fortalt
Modellen genererer tekst ét ord ad gangen, og hvert nye ord afhænger af de ord, den allerede har skrevet.
- Kategori
- teknik
- Niveau
- øvet
Betydninger
1- 1
Metode til at generere sekventielle data, hvor sandsynligheden for hvert nyt element betinges på de foregående elementer i sekvensen.
- De fleste store sprogmodeller som GPT-4 bruger autoregressiv generation til at producere flydende tekst. — Generel viden
- Autoregressiv generation kan føre til fejlakkumulering, da en fejl tidligt i sekvensen påvirker alle efterfølgende trin. — Forskningsartikel, 2020
Hvornår bruges det
Autoregressiv generation er standardmetoden i de fleste sprogmodeller som GPT-serien. Den bruges til tekstgenerering, oversættelse og kodegenerering, hvor outputtet genereres sekventielt fra venstre mod højre.
Oprindelse
Termen 'autoregressiv' kommer fra statistik og signalbehandling, hvor en autoregressiv model forudsiger en værdi baseret på tidligere værdier. I maskinlæring er det overført til sekvensgenerering.