latent dynamics model
En latent dynamics model er en model, der lærer overgangsfunktionen for en latent tilstandsrepræsentation i et system, ofte brugt til planlægning og kontrol i forstærkningslæring.
Kort fortalt
En latent dynamics model forudsiger, hvordan en skjult tilstand udvikler sig over tid, uden at observere den direkte – som at have en indre model af verdens dynamik i et komprimeret rum.
- Kategori
- model
- Niveau
- øvet
Betydninger
1- 1
En model, der kortlægger observationer til en latent tilstand og forudsiger næste latente tilstand givet en handling, ofte trænet ved rekonstruktion eller kontrastiv læring.
- Dreamer anvender en latent dynamics model til at simulere fremtidige belønninger i latent rum. — Hafner et al., 2020
- En latent dynamics model kan forudsige flere tidsskridt frem uden at generere pixel-niveau output.
Hvornår bruges det
Latent dynamics modeller anvendes primært inden for model-baseret forstærkningslæring, hvor agenten lærer en komprimeret repræsentation af observationer og en overgangsmodel i dette latente rum. De bruges til at rulle fremtidige scenarier ud i latent rum for planlægning, f.eks. i Dreamer-arkitekturen.
Kodeeksempel
import torch
import torch.nn as nn
class LatentDynamicsModel(nn.Module):
def __init__(self, latent_dim=64, action_dim=4, hidden_dim=128):
super().__init__()
self.transition = nn.Sequential(
nn.Linear(latent_dim + action_dim, hidden_dim),
nn.ReLU(),
nn.Linear(hidden_dim, latent_dim)
)
def forward(self, z, a):
# z: latent state, a: action
return self.transition(torch.cat([z, a], dim=-1))Simpel PyTorch-implementering af en latent dynamics model, der tager en latent tilstand og en handling og forudsiger næste latente tilstand.
Oprindelse
Termen er sammensat af 'latent' (skjult, ikke direkte observerbar) og 'dynamikmodel' (model af tidsmæssig udvikling). Begrebet blev fremtrædende med deep learning-baserede verdensmodeller omkring 2018-2019.