LoRA-alpha
En hyperparameter i LoRA, der skalerer den lavrangs-opdatering af vægtene under finjustering.
Kort fortalt
LoRA-alpha er et tal, der bestemmer hvor meget den lille vægtændring (fra LoRA) påvirker modellens adfærd.
- Kategori
- teknik
- Niveau
- ekspert
- Udtale
- /ˈlɔːrə ˈælfə/
Betydninger
1- 1
En hyperparameter, der bestemmer skaleringsfaktoren for de lavrangs-opdateringsmatricer i LoRA, typisk angivet som α. Den justerer bidraget fra de trænede lavrangskomponenter til modellens oprindelige vægte.
- Vi satte LoRA-alpha til 16, hvilket gav en god balance mellem tilpasning og bevarelse af basisviden. — Hugging Face PEFT dokumentation
- I praksis skaleres LoRA-alpha ofte med rangen for at undgå for store opdateringer ved høj rang.
Hvornår bruges det
LoRA-alpha bruges sammen med rangen r for at kontrollere styrken af tilpasningen. Typisk sættes alpha til 16 eller 32, og skaleres ofte med rangen.
Formel
ΔW = (α / r) · BAKodeeksempel
from peft import LoraConfig
config = LoraConfig(
r=8,
lora_alpha=16,
target_modules=["q_proj", "v_proj"]
)Eksempel på konfiguration af LoRA med LoRA-alpha = 16 og rang = 8.
Oprindelse
LoRA-alpha kombinerer forkortelsen LoRA (Low-Rank Adaptation) med den græske bogstav alfa (α) der repræsenterer skaleringsfaktoren.