score function

1. 1

   I statistik: gradienten af log-likelihoodfunktionen med hensyn til parametrene, også kaldet Fisher score. Den måler, hvor følsom likelihooden er over for parameterændringer.

   • Fisher score er givet ved ∂/∂θ log L(θ; x). — Fisher, 1925
2. 2

   I generativ modellering: gradienten af log-tætheden med hensyn til data, ∇_x log p(x). Den angiver retningen i datarummet, hvor tætheden stiger kraftigst.

   • Score-baserede modeller estimerer ∇_x log p(x) for at generere nye data via Langevin-dynamik. — Song & Ermon, 2019
3. 3

   I maskinlæring generelt: en funktion der tildeler en numerisk score til et input, fx en klassifikationssandsynlighed eller en relevansværdi i rangering.

   • I en binary classifier er score-funktionen ofte sigmoid(θ·x).

Score functions bruges i mange sammenhænge: i statistisk inferens som gradienten af log-likelihood (Fisher score), i generativ modellering som gradienten af log-tætheden (score-baserede modeller), og i maskinlæring som en funktion der rangerer output (fx i ranking eller som en classifier score).

import numpy as np
def score_gaussian(x, mean, cov):
    inv_cov = np.linalg.inv(cov)
    return -inv_cov @ (x - mean)

Beregn score (∇_x log p(x)) for en multivariat normalfordeling.

'Score' fra engelsk 'score' (point, resultat), 'function' fra latin 'functio' (udførelse). Termen har rødder i statistik.

• Fisher, R.A. (1925). Theory of Statistical Estimation.
• Hyvärinen, A. (2005). Estimation of Non-Normalized Statistical Models by Score Matching.
• Song, Y., & Ermon, S. (2019). Generative Modeling by Estimating Gradients of the Data Distribution.