parameter-effektiv fine-tuning
forkortelse for PEFT
Parameter-effektiv fine-tuning betegner en samling af teknikker, hvor kun et lille antal ekstra parametre opdateres under finjustering, mens hovedparten af en fortrænet models parametre fryses.
Kort fortalt
I stedet for at opdatere alle en stor models parametre, tilføjer og træner man kun få nye parametre – det sparer tid og hukommelse.
- Kategori
- teknik
- Niveau
- øvet
Betydninger
2- 1
Samling af finjusteringsteknikker, der kun opdaterer en lille delmængde af parametre (ofte nye, indsatte parametre) mens de oprindelige modelvægte fryses, for at reducere beregnings- og lageromkostninger.
- Parameter-effektiv fine-tuning har gjort det muligt at tilpasse store sprogmodeller på enkelt-GPU'er ved hjælp af LoRA.
- Med parameter-effektiv fine-tuning kan man finjustere én base-model til mange opgaver ud at gemme separate kopier.
- 2
Specifik metode inden for parameter-effektiv fine-tuning, såsom LoRA, Adapters, Prompt Tuning eller Prefix Tuning.
- LoRA er en populær form for parameter-effektiv fine-tuning, der indsætter lav-rangs matricer i modelens lag.
Hvornår bruges det
Parameter-effektiv fine-tuning anvendes især til store sprogmodeller (LLM'er) og andre store fortrænede modeller, hvor fuld finjustering er for ressourcekrævende. Metoder som LoRA, Adapters og Prompt Tuning gør det muligt at tilpasse modellen til specifikke opgaver uden at gemme en hel kopi af modellen for hver opgave.
Kodeeksempel
from transformers import AutoModelForCausalLM
from peft import LoraConfig, get_peft_model
model = AutoModelForCausalLM.from_pretrained("gpt2")
lora_config = LoraConfig(r=8, lora_alpha=32, target_modules=["q_proj", "v_proj"], lora_dropout=0.1)
peft_model = get_peft_model(model, lora_config)
peft_model.print_trainable_parameters()
# Output: trainable params: 294,912 || all params: 124,439,808 || trainable%: 0.237Eksempel: Indlæs en GPT-2 model og anvend LoRA-konfiguration med r=8. Kun 0,24 % af parametrene bliver trænbare.
Oprindelse
Udtrykket er en direkte oversættelse af engelsk 'parameter-efficient fine-tuning', som beskriver teknikker, der opnår finjustering med få parametre.