parametereffektivitet
Evnen hos en model til at opnå høj ydeevne med et begrænset antal parametre.
Kort fortalt
Parametereffektivitet handler om, hvor meget en model kan lære per parameter – jo mere effektiv, desto mindre model kræves for samme resultat.
- Kategori
- begreb
- Niveau
- øvet
Betydninger
1- 1
Mål for hvor godt en model udnytter sine parametre til at lære og generalisere; høj parametereffektivitet betyder, at modellen opnår god ydeevne med relativt få parametre.
- LoRA opnår høj parametereffektivitet ved at indføre lavrankede opdateringer til vægtene i stedet for at finjustere alle parametre. — Hu et al., LoRA: Low-Rank Adaptation of Large Language Models, 2021
- Parametereffektivitet er et centralt mål, når man designer sprogmodeller til ressourcebegrænsede miljøer.
Hvornår bruges det
Bruges især ved finjustering af store sprogmodeller, hvor man ønsker at tilpasse modellen med så få ekstra parametre som muligt, fx ved hjælp af LoRA eller adapterlag. Også relevant i modelkompression og arkitekturdesign for at reducere beregningsomkostninger og hukommelsesforbrug.
Oprindelse
Sammensat af 'parameter' (fra græsk 'para' + 'metron', 'mål') og 'effektivitet' (fra latin 'efficere', 'udføre').