optimizer
En optimizer er en algoritme, der opdaterer modelparametre under træning for at minimere tabet.
Kort fortalt
Kort fortalt: En optimizer er 'motoren', der justerer en AI-models vægte, så den lærer af data.
- Kategori
- træning
- Niveau
- øvet
Betydninger
1- 1
En algoritme, der bruger gradientinformation til at opdatere modelparametre for at minimere en tabsfunktion under træning af maskinlæringsmodeller.
- Adam-optimizeren kombinerer momentum og adaptiv læringsrate. — Kingma & Ba, 2014
Hvornår bruges det
Optimizers bruges i al træning af neurale netværk, ofte med Stochastic Gradient Descent (SGD) eller varianter som Adam. Valg af optimizer påvirker hastighed og kvalitet af træning.
Kodeeksempel
optimizer = torch.optim.Adam(model.parameters(), lr=0.001)Opretter en Adam-optimizer i PyTorch
Oprindelse
Fra engelsk 'optimize' + '-er' (den der optimerer).