World model

1. 1

   I kognitionsvidenskab: en mental repræsentation af omverdenen, som et individ bruger til at forstå og interagere med miljøet.

   • Mennesker opdaterer konstant deres world model gennem sanseindtryk.
2. 2

   I AI: en intern model, typisk et neuralt netværk, der lærer at simulere miljøets overgange og belønninger, så agenten kan planlægge ved at 'forestille sig' fremtidige forløb.

   • DreamerV3 anvender en world model til at rulle mulige handlingssekvenser ud i latent rum.

World models bruges i model-baseret reinforcement learning og planlægning, hvor agenten træner en model til at forudsige miljøets dynamik, fx i Dreamer-arkitekturen.

class WorldModel(nn.Module):
    def __init__(self):
        super().__init__()
        self.encoder = Encoder()  # state->latent
        self.transition = Transition()  # (latent, action)->latent
        self.reward = RewardPredictor()
    def forward(self, obs, action):
        z = self.encoder(obs)
        z_next = self.transition(z, action)
        r = self.reward(z_next)
        return z_next, r

Forenklet PyTorch-klasse for en world model, der forudsiger næste latente tilstand og belønning.

Udtrykket kommer fra kognitionsvidenskab og AI-forskning, hvor det beskriver en agents mentale model af verden, populariseret af Ha og Schmidhuber (2018).

• World Models (2018)
• Mastering Atari with Discrete World Models (2020)