model-checkpoint
En gemt tilstand af en models vægte og optimeringstilstand under træning, så processen kan genoptages eller evalueres senere.
Kort fortalt
En model-checkpoint er en gemt kopi af en model midt i træningen, så du ikke mister fremskridt ved afbrydelser.
- Kategori
- teknik
- Niveau
- begynder
Betydninger
1- 1
En fil eller en samling filer, der indeholder de serialiserede vægte, eventuelt optimeringstilstand og andre metadata for en model på et bestemt tidspunkt under træning.
- Vi gemmer et model-checkpoint hver epoke for at sikre, at vi kan genoptage træningen ved et evt. strømsvigt.
- Det bedste model-checkpoint på valideringsdatasættet bruges derefter til test.
Hvornår bruges det
Bruges under langvarig træning for at gemme regelmæssigt, så man kan gå tilbage til den bedste version eller genoptage efter nedbrud. Typisk implementeret med et callback i deep learning frameworks.
Kodeeksempel
import torch
# Save checkpoint
torch.save({
'epoch': epoch,
'model_state_dict': model.state_dict(),
'optimizer_state_dict': optimizer.state_dict(),
'loss': loss,
}, 'checkpoint.pt')
# Load checkpoint
checkpoint = torch.load('checkpoint.pt')
model.load_state_dict(checkpoint['model_state_dict'])
optimizer.load_state_dict(checkpoint['optimizer_state_dict'])Eksempel på at gemme og indlæse et model-checkpoint med PyTorch.
Oprindelse
Fra engelsk 'model checkpoint', sammensat af 'model' og 'checkpoint' (kontrolpunkt). Begrebet stammer fra systemer, der gemmer tilstand for fejltolerance.