PEFT-teknik
forkortelse for Parameter-Efficient Fine-Tuning
Parameter-Efficient Fine-Tuning (PEFT) er en samling af teknikker, der muliggør finjustering af store sprogmodeller ved at opdatere et lille antal parametre, hvilket reducerer beregningsomkostninger og hukommelseskrav.
Kort fortalt
PEFT-teknikker gør det muligt at tilpasse store sprogmodeller til specifikke opgaver uden at skulle finjustere alle modellens parametre.
- Kategori
- teknik
- Niveau
- øvet
Betydninger
1- 1
Samling af teknikker til finjustering af store præ-trænede modeller, hvor kun en lille del af parametrene opdateres, mens resten forbliver frosset.
- PEFT-teknikker som LoRA og Adapter er blevet standardværktøjer til effektiv finjustering af sprogmodeller.
Hvornår bruges det
PEFT-teknikker anvendes typisk, når man har begrænsede beregningsressourcer eller ønsker at finjustere modeller på små datasæt uden overfitting. De er særligt nyttige i scenarier, hvor man hurtigt skal tilpasse en model til flere opgaver.
Oprindelse
Akronym for 'Parameter-Efficient Fine-Tuning', på dansk 'parameter-effektiv finjustering'.
Afledte ord
1Kilder
2- Scaling Down to Scale Up: A Guide to Parameter-Efficient Fine-Tuning (Lialin et al., 2023)
- LoRA: Low-Rank Adaptation of Large Language Models (Hu et al., 2021)