Adam
forkortelse for Adaptive Moment Estimation
Adam er en adaptiv optimeringsalgoritme, der kombinerer momentum og RMSprop til effektiv træning af neurale netværk.
Kort fortalt
Kort fortalt: Adam er en avanceret metode til at justere vægtene i en AI-model under træning, så den lærer hurtigere og mere stabilt.
- Kategori
- træning
- Niveau
- øvet
- Udtale
- ˈædəm
Betydninger
1- 1
Adam er en adaptiv optimeringsalgoritme, der beregner individuelle læringsrater for hver parameter baseret på estimater af første og andet moment af gradienterne.
- Vi trænede modellen med Adam-optimizeren og opnåede hurtig konvergens.
- Adam bruges ofte som standardoptimizer i frameworks som TensorFlow og PyTorch.
Hvornår bruges det
Adam er standardoptimizeren i de fleste deep learning-projekter, især inden for computer vision og naturlig sprogbehandling. Den anbefales som udgangspunkt for træning af større modeller, da den kræver minimal hyperparameterjustering.
Formel
θ_{t+1} = θ_t - α * m̂_t / (√v̂_t + ε), hvor m_t = β₁*m_{t-1} + (1-β₁)*g_t, v_t = β₂*v_{t-1} + (1-β₂)*g_t², og m̂_t = m_t/(1-β₁^t), v̂_t = v_t/(1-β₂^t).Kodeeksempel
import torch
import torch.nn as nn
model = nn.Linear(10, 1)
optimizer = torch.optim.Adam(model.parameters(), lr=0.001)
for epoch in range(100):
loss = ...
optimizer.zero_grad()
loss.backward()
optimizer.step()Eksempel på brug af Adam-optimizeren i PyTorch til træning af en simpel lineær model.
Oprindelse
Termen 'Adam' er en forkortelse for 'Adaptive Moment Estimation' og blev introduceret af Kingma og Ba i 2014.