world model agent
En AI-agent der konstruerer og anvender en intern model af omverdenen til at forudsige fremtidige tilstande og planlægge handlinger.
Kort fortalt
En agent der lærer en model af verden, så den kan forestille sig konsekvenser af sine handlinger og træffe bedre beslutninger.
- Kategori
- begreb
- Niveau
- øvet
Betydninger
1- 1
En agent der lærer en intern repræsentation af verden, typisk en model der forudsiger overgange mellem tilstande og belønninger, og som bruger denne model til at planlægge handlinger, ofte via rulleud-rulle simulation eller træning af en politik.
- World model-agenter som Dreamer kan lære at spille spil ved udelukkende at simulere i deres interne model. — Hafner et al., 2020, 'Dream to Control: Learning Behaviors by Latent Imagination'
- MuZero kombinerer en lært verdensmodel med træsøgning for at opnå supermenneskelig præstation i brætspil. — Schrittwieser et al., 2020, 'Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model'
Hvornår bruges det
World model-agenter anvendes i model-baseret forstærkningslæring, hvor agenten først lærer en model af miljøets dynamik og derefter bruger modellen til at planlægge eller simulere fremtidige hændelser. De er centrale i systemer som Dreamer og MuZero.
Oprindelse
Begrebet opstod inden for forstærkningslæring og kognitiv videnskab, inspireret af ideen om en 'verdensmodel' i menneskelig kognition.
Afledte ord
2Kilder
2- Dream to Control: Learning Behaviors by Latent Imagination
- Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model