vægt

1. 1

   En parameter i et neuralt netværk, der repræsenterer styrken af forbindelsen mellem to neuroner. Vægtene justeres under træning for at lære mønstre i data.

   • Vægtene i et fuldt forbundet lag initialiseres typisk med små tilfældige værdier. — Lærebog i deep learning
   • Under backpropagation opdateres vægtene for at reducere tab. — Goodfellow et al., Deep Learning, 2016
2. 2

   I bredere forstand: en værdi, der angiver betydningen eller indflydelsen af et element i en beregning, fx i vægtede summer.

   • Vægten af hver inputfeature bestemmer dens bidrag til den lineære kombination. — Lærebog i maskinlæring

Vægte er centrale i alle neurale netværk. Under træning opdateres de via baglæns propagation for at minimere tabsfunktionen. I inferens bruges de faste vægte til at lave forudsigelser.

import numpy as np

# Initialisering af vægte til et lille tilfældigt tal
weights = np.random.randn(10, 5) * 0.01

Eksempel på initialisering af vægte i et neuralt netværk med 10 input og 5 output.

Fra fysikkens vægtbegreb (masse multipliceret med tyngdeacceleration), overført til matematisk vægtning i statistik og senere til neurale netværk.

• Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning.
• LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep Learning. Nature, 521(7553), 436-444.