Weight
En parameter i et neuralt netværk, der justeres under træning for at minimere tabsfunktionen og bestemmer styrken af forbindelsen mellem neuroner.
Kort fortalt
Vægte er tal, som netværket lærer at sætte rigtigt, så det kan forudsige eller klassificere data korrekt.
- Kategori
- begreb
- Niveau
- begynder
- Udtale
- /weɪt/
Betydninger
1- 1
En læreværdig parameter i et neuralt netværk, der multipliceres med en inputværdi for at bestemme styrken af signalet mellem neuroner.
- Under træning opdateres vægtene i netværket for at reducere fejlen.
- En høj vægt indikerer en stærk forbindelse mellem to neuroner.
Hvornår bruges det
Vægte initialiseres tilfældigt før træning og opdateres derefter via backpropagation og gradient descent. Hver vægt multipliceres med inputværdien, og summen af vægtede input sendes gennem en aktiveringsfunktion.
Formel
w_new = w_old - η * ∂L/∂w, hvor η er learning rate og ∂L/∂w er gradienten af tabsfunktionen mht. vægten.Kodeeksempel
import numpy as np
# Initialiser vægte tilfældigt
weights = np.random.randn(3, 1) # 3 inputs til 1 output
# Input-vektor
inputs = np.array([0.5, 0.3, 0.8])
# Vægtet sum (dot-produkt) og aktivering (her simpel lineær)
output = np.dot(inputs, weights)
print(output)Simpelt eksempel på initialisering af vægte og beregning af et output i en lineær neuron.
Oprindelse
Udtrykket 'vægt' (eller 'weight') kommer fra idéen om, at hver input har en 'vægt' eller betydning for outputtet, ligesom i en vægtet sum.
Afledte ord
3Kilder
1- Deep Learning (Goodfellow, Bengio, Courville, 2016)