Parameter-Efficient Fine-Tuning
Parameter-Efficient Fine-Tuning (PEFT) er en samling teknikker, der opdaterer kun et lille antal modelparametre under finjustering, mens størstedelen af den forudtrænede model fryses.
Kort fortalt
I stedet for at træne hele modellen igen, lærer man kun nogle få nye parametre, hvilket sparer tid og hukommelse.
- Kategori
- teknik
- Niveau
- øvet
Betydninger
1- 1
En metode til finjustering af store forudtrænede modeller, hvor kun et lille antal ekstra parametre trænes, mens hovedmodellens vægte forbliver frosne.
- Parameter-Efficient Fine-Tuning reducerer hukommelsesforbruget markant sammenlignet med fuld finjustering.
- Med PEFT kan en enkelt GPU finjustere en model med milliarder af parametre.
Hvornår bruges det
PEFT bruges til at tilpasse store sprogmodeller til specifikke opgaver med begrænsede ressourcer, fx ved hjælp af LoRA eller adaptere. Det er særligt nyttigt, når man ikke har adgang til fuld finjustering af hele modellen.
Kodeeksempel
from peft import LoraConfig, get_peft_model
config = LoraConfig(r=8, lora_alpha=32, target_modules=["q_proj", "v_proj"])
model = AutoModelForCausalLM.from_pretrained("gpt2")
model = get_peft_model(model, config)
model.print_trainable_parameters()Eksempel på brug af PEFT med LoRA-konfiguration i Hugging Face PEFT-biblioteket.
Oprindelse
Udtrykket opstod omkring 2019-2021 i NLP-forskning, hvor behovet for ressourceeffektiv finjustering voksede med størrelsen af sprogmodeller.
Afledte ord
1Kilder
3- LoRA: Low-Rank Adaptation of Large Language Models (2021)
- Prefix-Tuning: Optimizing Continuous Prompts for Generation (2021)
- Parameter-Efficient Transfer Learning for NLP (2019)