adaptiv learning rate
En teknik i træning af neurale netværk, hvor læringsraten automatisk justeres under træningen for at forbedre konvergens.
Kort fortalt
En metode, der dynamisk ændrer, hvor store skridt modellen tager under træning, så den lærer hurtigere og mere stabilt.
- Kategori
- teknik
- Niveau
- øvet
Betydninger
1- 1
En metode til automatisk justering af læringsraten under træning af maskinlæringsmodeller, typisk baseret på gradienternes størrelse eller historik.
- Adam optimeringsalgoritmen anvender adaptiv learning rate for hver parameter.
- Ved brug af adaptiv learning rate undgås manuel tuning af læringsraten.
Hvornår bruges det
Adaptiv learning rate anvendes i optimeringsalgoritmer som Adam, RMSprop og AdaGrad, der hver især justerer læringsraten baseret på tidligere gradienter. Det er standard i moderne deep learning-biblioteker og reducerer behovet for manuel tuning af læringsraten.
Kodeeksempel
optimizer = torch.optim.Adam(model.parameters(), lr=0.001)Oprettelse af en Adam-optimizer, der implementerer adaptiv learning rate.
Oprindelse
Sammensat af 'adaptiv' (tilpasningsdygtig) og 'learning rate' (læringsrate), fra engelsk adaptive learning rate.
Kilder
2- Adam: A Method for Stochastic Optimization (2014)
- Adaptive Subgradient Methods for Online Learning and Stochastic Optimization (2011)