Fine-tuning

1. 1

   Generel teknik inden for maskinlæring, hvor en forudtrænet model tilpasses til en ny opgave ved at fortsætte træningen på et opgavespecifikt datasæt.

   • Vi finjusterede BERT på et juridisk tekstkorpus for at forbedre klassifikationen. — Eksempel fra praksis
2. 2

   Specifik proces i neurale netværk, hvor alle eller udvalgte lag opdateres med en lav læringshastighed for at bevare den forudtrænede viden.

   • Under finjustering fryser man ofte de tidligere lag og træner kun de sidste for at undgå overfitting. — Eksempel fra praksis

Fine-tuning bruges ofte i overført læring (transfer learning), hvor en stor model som GPT er trænet på generelle data, og derefter finjusteres på et specifikt domænedatasæt for at forbedre ydeevnen. Det sparer tid og ressourcer sammenlignet med at træne fra bunden.

from transformers import AutoModelForSequenceClassification, Trainer, TrainingArguments, AutoTokenizer
model = AutoModelForSequenceClassification.from_pretrained("bert-base-uncased", num_labels=2)
tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")
train_dataset = ...  # user's dataset
training_args = TrainingArguments(output_dir="./results", num_train_epochs=3, per_device_train_batch_size=16)
trainer = Trainer(model=model, args=training_args, train_dataset=train_dataset)
trainer.train()

Eksempel på finjustering af BERT til tekstklassifikation med Hugging Face.

Fra engelsk 'fine-tuning', sammensat af 'fine' (fin) og 'tuning' (justering), oprindeligt fra musik (stemme et instrument præcist) overført til maskinlæring.

• BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding