Parameter

1. 1

   En konfigurationsvariabel i en statistisk model eller maskinlæringsmodel, der læres fra data. I neurale netværk omfatter parametre vægte og bias, som justeres under træning for at minimere en tabsfunktion.

   • En Transformer-model med 175 milliarder parametre kræver enorme mængder data og beregning. — GPT-3, 2020
   • Under backpropagation opdateres hver parameter i retning af den negative gradient. — forskningsartikel, 1986

Parametre opdateres under træning via gradient descent eller andre optimeringsalgoritmer. De udgør modellens erindring om træningsdataene og bestemmer dens funktionsmåde. Antallet af parametre er ofte en nøglemåling af modellens kapacitet.

θ_{t+1} = θ_t - η ∇L(θ_t)

import torch.nn as nn
model = nn.Linear(10, 5)
for name, param in model.named_parameters():
    print(name, param.shape)

Udskriver navn og form på parametrene i et lineært lag.

Fra græsk para- (ved siden af) og metron (mål), via latin parametrum.

• Deep Learning (Goodfellow et al., 2016)
• Pattern Recognition and Machine Learning (Bishop, 2006)