gradient
Vektor af partielle afledede, der angiver den stejleste stigningsretning for en funktion.
Kort fortalt
En gradient fortæller, i hvilken retning en funktion vokser hurtigst, og bruges i maskinlæring til at justere modeller.
- Kategori
- begreb
- Niveau
- begynder
- Udtale
- /ˈɡreɪdiənt/
Betydninger
2- 1
Vektorfelt af partielle afledede for en flervariabel funktion, der peger i retning af stejleste stigning.
- Gradienten af tabsfunktionen angiver, hvordan vægtene skal justeres.
- 2
I maskinlæring ofte brugt som forkortelse for gradientnedstigning, en optimeringsalgoritme der iterativt opdaterer parametre i modsat retning af gradienten.
- Vi træner modellen med gradientnedstigning.
Hvornår bruges det
Gradienten beregnes ofte i træning af neurale netværk via backpropagation, hvor den bruges til at opdatere vægte i retning mod minimum af tabsfunktionen.
Formel
∇f = (∂f/∂x₁, ∂f/∂x₂, ..., ∂f/∂xₙ)Kodeeksempel
import torch
x = torch.tensor(2.0, requires_grad=True)
y = x**2
y.backward()
print(x.grad) # tensor(4.)Beregning af gradienten for funktionen f(x) = x^2 med PyTorch.
Oprindelse
Fra latin 'gradiens' (gående), via fransk og engelsk. Inden for matematik introduceret i 19. århundrede.
Afledte ord
2Kilder
1- Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press.