LoRA-opsætning
forkortelse for Low-Rank Adaptation
Opsætning og konfiguration af LoRA (Low-Rank Adaptation) til finjustering af store sprogmodeller.
- Kategori
- teknik
- Niveau
- øvet
Betydninger
1- 1
Den specifikke konfiguration af LoRA-hyperparametre og målmoduler, der anvendes ved finjustering af en transformer-model.
- En typisk LoRA-opsætning inkluderer en rang på 8, alpha på 16 og målretning af opmærksomhedslagene.
- Valget af LoRA-opsætning kan have stor indflydelse på modelens ydeevne og træningshastighed.
Kodeeksempel
from peft import LoraConfig
lora_config = LoraConfig(
r=8,
lora_alpha=16,
target_modules=["q_proj", "v_proj"],
lora_dropout=0.1,
bias="none"
)Eksempel på en LoRA-opsætning med PEFT-biblioteket i Python.
Oprindelse
LoRA står for 'Low-Rank Adaptation' (dansk: lav-rank tilpasning). 'Opsætning' er dansk for 'setup' eller 'konfiguration'.