autoregressiv model

1. 1

   I tidsserieanalyse: en model, hvor den aktuelle værdi er en lineær kombination af de forudgående værdier plus en støjterm.

   • En autoregressiv model af orden p (AR(p)) estimerer parametre φ_i, der beskriver aftagende påvirkning fra tidligere observationer.
2. 2

   I generativ AI og sprogmodellering: en neural netværksmodel, der genererer sekvenser ved at forudsige næste element betinget på alle foregående elementer, typisk trænet med maksimal sandsynlighed.

   • GPT-modeller er autoregressive sprogmodeller, der genererer tekst token for token fra venstre mod højre.

Autoregressive modeller anvendes bredt inden for tidsserieanalyse (fx ARIMA-modeller) og i generativ AI, hvor sprogmodeller som GPT forudsiger næste token baseret på tidligere tokens. De er grundlæggende for sekvensgenerering og prognoser.

x_t = c + Σ_{i=1}^p φ_i x_{t-i} + ε_t

import numpy as np

def autoregressive_process(phi, n, scale=1.0, seed=42):
    np.random.seed(seed)
    p = len(phi)
    x = np.zeros(n)
    for t in range(p, n):
        x[t] = np.dot(phi, x[t-p:t][::-1]) + np.random.normal(0, scale)
    return x

# AR(2) model: x_t = 0.7*x_{t-1} - 0.2*x_{t-2} + eps
phi = [0.7, -0.2]
x = autoregressive_process(phi, 100)
print(x[:10])

Simulerer en autoregressiv proces af orden p (her p=2) ved at generere værdier sekventielt baseret på lineær kombination af tidligere værdier og normalfordelt støj.

Fra græsk 'autos' (selv) og latin 'regressio' (tilbagegang), dvs. 'selvtilbagegående' – modellen regredierer på sine egne tidligere værdier.