PEFT-library
forkortelse for Parameter-Efficient Fine-Tuning Library
PEFT-library er et open-source-bibliotek fra Hugging Face, der implementerer parameter-effektive finjusteringsteknikker som LoRA, AdaLoRA og Prefix Tuning.
Kort fortalt
PEFT-library gør det nemt at finjustere store sprogmodeller ved kun at træne et lille antal ekstra parametre i stedet for hele modellen.
- Kategori
- værktøj
- Niveau
- øvet
Betydninger
1- 1
Et softwarebibliotek til parameter-effektiv finjustering af store neurale netværk, især sprogmodeller, ved hjælp af adaptere, LoRA og andre metoder.
- Ved at bruge PEFT-library finjusterede vi en LLaMA-model med LoRA på en lille mængde data.
- PEFT-library understøtter flere teknikker som Prompt Tuning og IA3.
Hvornår bruges det
Biblioteket bruges af forskere og udviklere til at tilpasse store præ-trænede modeller til specifikke opgaver uden at skulle træne alle parametre, hvilket sparer tid og ressourcer.
Kodeeksempel
from peft import LoraConfig, get_peft_model
model = AutoModelForSeq2SeqLM.from_pretrained("bigscience/mt0-small")
lora_config = LoraConfig(r=8, lora_alpha=32, target_modules=["q", "v"], lora_dropout=0.1)
peft_model = get_peft_model(model, lora_config)
peft_model.print_trainable_parameters()Eksempel på opsætning af LoRA-konfiguration og anvendelse på en model med PEFT-library.
Oprindelse
PEFT står for Parameter-Efficient Fine-Tuning. Biblioteket blev udgivet af Hugging Face i 2023.