Greedy decoding
En sekvensgenereringsstrategi, der ved hvert trin vælger det mest sandsynlige næste token.
Kort fortalt
Greedy decoding vælger det bedste ord på hvert tidspunkt uden at overveje fremtidige konsekvenser, hvilket ofte fører til mindre varierede og mindre optimale sekvenser.
- Kategori
- teknik
- Niveau
- øvet
Betydninger
1- 1
En deterministisk dekodningsmetode, hvor modellen ved hvert tidstrin vælger det token med højest sandsynlighed, uden at tage hensyn til fremtidige trin.
- Ved greedy decoding starter modellen med et starttoken og vælger derefter for hvert trin det token med den højeste sandsynlighed.
Hvornår bruges det
Greedy decoding bruges typisk i inference-fasen af neurale sprogmodeller, når man ønsker hurtig generering, men det kan resultere i repetitive eller ufuldstændige sætninger. Det er ofte kontrasteret med beam search eller sampling.
Oprindelse
Udtrykket 'greedy' refererer til den grådige algoritme, der tager den lokalt optimale beslutning uden hensyn til global optimalitet.