sprogmodelstræning
Processen med at optimere en sprogmodels parametre ved hjælp af store tekstmængder, så den kan forudsige eller generere tekst.
Kort fortalt
At lære en maskine at forstå og producere sprog ved at vise den enorme mængder tekst.
- Kategori
- træning
- Niveau
- øvet
Betydninger
1- 1
Den iterative proces hvor en maskinlæringsmodel, typisk en transformer-baseret neurale netværk, justerer sine vægte for at minimere en tabsfunktion på et træningskorpus af tekst.
- Sprogmodelstræning kræver store mængder data og avanceret hardware som GPU'er.
- Under sprogmodelstræning anvendes ofte en krydsentropi-tabsfunktion.
Hvornår bruges det
Sprogmodelstræning foregår typisk i to faser: præ-træning på store, ustrukturerede tekstkorpus og efterfølgende finjustering til specifikke opgaver. Træningen kræver betydelige computerressourcer, ofte med hundredvis af GPU'er i dage eller uger.
Kodeeksempel
from transformers import AutoModelForCausalLM, AutoTokenizer, Trainer, TrainingArguments
model = AutoModelForCausalLM.from_pretrained('gpt2')
tokenizer = AutoTokenizer.from_pretrained('gpt2')
training_args = TrainingArguments(
output_dir='./results',
num_train_epochs=1,
per_device_train_batch_size=2
)
trainer = Trainer(
model=model,
args=training_args,
train_dataset=dataset # assume dataset is prepared
)
trainer.train()Eksempel på træning af en GPT-2 model med Hugging Face Transformers.
Oprindelse
Sammensat af 'sprog', 'model' og 'træning'.
Afledte ord
2Kilder
2- Language Models are Few-Shot Learners (GPT-3, 2020)
- BERT: Pre-training of Deep Bidirectional Transformers (2019)