State space model

1. 1

   En matematisk model, der beskriver et system ved hjælp af en latent tilstandsvariabel og en observationsmodel, typisk brugt i kontrolteori og signalbehandling.

   • I kontrolteori beskrives et system ofte med en state space-model. — Kontrolteori lærebog
   • En lineær state space-model kan repræsenteres ved matricer A, B, C og D.
2. 2

   En neurale netværksarkitektur, der implementerer en state space-model til sekvensmodellering, ofte med lineære overgange og struktureret parameterisering for parallel træning.

   • Mamba er en state space-model, der introducerer selektive tilstande for at konkurrere med transformere. — Gu & Dao, 2023
   • S4 er en struktureret state space-model designet til lange sekvenser. — Gu et al., 2021

State space-modeller bruges ofte i sekvensmodellering, især i forbindelse med effektiv inferens og håndtering af lange sekvenser. De har vundet popularitet som et alternativ til transformere i visse opgaver som talebehandling og tidsserieanalyse.

h_t = A·h_{t-1} + B·x_t; y_t = C·h_t + D·x_t

import numpy as np

class StateSpaceModel:
    def __init__(self, A, B, C, D=None):
        self.A = A
        self.B = B
        self.C = C
        self.D = D
        self.state = np.zeros(A.shape[0])
    
    def step(self, u):
        self.state = self.A @ self.state + self.B @ u
        y = self.C @ self.state
        if self.D is not None:
            y += self.D @ u
        return y

En simpel implementering af et lineært state space-modeltrin i Python. A, B, C, D er matricer af passende dimensioner.

Begrebet stammer fra kontrolteori og signalbehandling, hvor en tilstandsrepræsentation bruges til at beskrive et systems adfærd over tid.

• Gu, A., & Dao, T. (2023). Mamba: Linear-Time Sequence Modeling with Selective State Spaces
• Gu, A., Goel, K., & Ré, C. (2021). Efficiently Modeling Long Sequences with Structured State Spaces