LoRA-opsætningsparameter
En hyperparameter, der specificeres ved opsætning af LoRA-fintuning, såsom rang (rank), skaleringsfaktor (alpha) og dropout.
Kort fortalt
De indstillinger, du vælger, når du bruger LoRA til at finjustere en AI-model, fx hvor stor den nye træningsmatrix skal være.
- Kategori
- træning
- Niveau
- øvet
Betydninger
1- 1
En parameter, der anvendes ved konfiguration af LoRA-fintuning, herunder rang (r), alpha (α) og dropout, som styrer modellens tilpasning og effektivitet.
- Valget af LoRA-opsætningsparameteren rang påvirker direkte antallet af trænede parametre. — faglig praksis, 2024
- En typisk LoRA-opsætningsparameter er alpha=16 med rang=8. — Hugging Face PEFT-dokumentation, 2023
Hvornår bruges det
Bruges ved opsætning af LoRA-baseret fintuning i sprogmodeller. De vigtigste parametre er rang (r), der bestemmer antallet af trænede parametre, alpha (α) som skalerer opdateringerne, og dropout for regularisering. Justering af disse parametre er afgørende for at balancere effektivitet og præcision.
Kodeeksempel
from peft import LoraConfig
config = LoraConfig(
r=8,
lora_alpha=16,
target_modules=['q_proj', 'v_proj'],
lora_dropout=0.1
)Eksempel på opsætning af LoRA-parametre med PEFT-biblioteket.
Oprindelse
LoRA er en forkortelse for 'Low-Rank Adaptation', en teknik introduceret af Hu et al. i 2021. 'Opsætningsparameter' er dansk for opsætningsrelateret parameter.