fuld fine-tuning
En træningsmetode hvor alle parametre i en prætrænet model opdateres under tilpasning til en ny opgave.
Kort fortalt
Du tager en eksisterende AI-model og træner den videre på din egen data, så alle dele af modellen lærer fra din data.
- Kategori
- teknik
- Niveau
- øvet
Betydninger
1- 1
Den proces hvor en prætrænet model trænes videre på en ny opgave, og samtlige modelvægte opdateres gennem backpropagation.
- Ved fuld fine-tuning af en BERT-model på en sentimentsanalyseopgave opdateres alle transformerlagene. — faglitteratur, 2022
Hvornår bruges det
Fuld fine-tuning bruges når man har en tilstrækkelig stor mængde data til at opdatere hele modellen uden overfitting. Det er almindeligt inden for NLP og computer vision, hvor man typisk tager en stor prætrænet model og finjusterer den på en specifik opgave.
Kodeeksempel
model = AutoModelForSequenceClassification.from_pretrained('bert-base-uncased')
for param in model.parameters():
param.requires_grad = True
optimizer = torch.optim.AdamW(model.parameters(), lr=2e-5)
for epoch in range(num_epochs):
for batch in dataloader:
outputs = model(**batch)
loss = outputs.loss
loss.backward()
optimizer.step()
optimizer.zero_grad()Eksempel på fuld fine-tuning af en BERT-model i PyTorch. Alle parametre har requires_grad=True, og optimereren opdaterer alle vægte.
Oprindelse
Udtrykket kommer fra engelsk 'fine-tuning', som betyder finjustering. 'Fuld' angiver at alle parametre justeres.
Kilder
2- Universal Language Model Fine-tuning for Text Classification (Howard & Ruder, 2018)
- BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (Devlin et al., 2019)