PEFT
forkortelse for Parameter-Efficient Fine-Tuning
Parameter-Efficient Fine-Tuning (PEFT) er en samling af teknikker, der muliggør effektiv transfer learning af store sprogmodeller ved at opdatere et minimalt antal parametre, ofte gennem indsættelse af trænbare adaptere eller lavrangetilpasninger.
Kort fortalt
En metode til at finjustere store sprogmodeller ved kun at træne et lille antal ekstra parametre, så det er ressourcebesparende.
- Kategori
- teknik
- Niveau
- øvet
- Udtale
- piː iː ɛf tiː
Betydninger
1- 1
Samling af fine-tuning-teknikker, der kun opdaterer en lille delmængde af en models parametre, ofte ved at tilføje nye trænbare lag eller anvende lavrangetilpasninger, mens hovedparten af modellen fryses.
- PEFT-metoder som LoRA har gjort det muligt at finjustere sprogmodeller med milliarder af parametre på en enkelt GPU. — Forskningsartikel, 2023
- Ved brug af PEFT reduceres hukommelsesforbruget markant, da gradienter kun beregnes for de trænbare adaptere. — Hugging Face blog, 2023
Hvornår bruges det
PEFT anvendes, når man vil tilpasse en stor fortrænet model til en specifik opgave uden at have ressourcer til fuld fine-tuning. Det er særligt populært til domænespecifikke modeller, personalisering og i miljøer med begrænset hardware.
Kodeeksempel
from transformers import AutoModelForCausalLM
from peft import get_peft_model, LoraConfig, TaskType
model = AutoModelForCausalLM.from_pretrained("gpt2")
lora_config = LoraConfig(r=8, lora_alpha=32, target_modules=["q_proj", "v_proj"], lora_dropout=0.1)
lora_model = get_peft_model(model, lora_config)
print(f"Trainable params: {lora_model.num_parameters(only_trainable=True)}")Eksempel på LoRA-konfiguration med PEFT-biblioteket til en causal sprogmodel. Kun Q og V projektionerne trænes.
Oprindelse
Begrebet opstod i takt med udviklingen af store sprogmodeller, hvor fuld fine-tuning blev uoverkommelig. Metoder som LoRA (2021) og adapter-netværk (Houlsby et al., 2019) etablerede termen.
Afledte ord
4Kilder
2- LoRA: Low-Rank Adaptation of Large Language Models (2021)
- Parameter-Efficient Transfer Learning for NLP (Houlsby et al., 2019)