model-based reinforcement learning
En tilgang inden for reinforcement learning, hvor agenten lærer en model af miljøets dynamik og bruger denne model til at planlægge eller simulere handlinger.
Kort fortalt
I stedet for kun at lære af faktiske erfaringer, bygger agenten en indre model af verden og bruger den til at forestille sig konsekvenser af handlinger.
- Kategori
- teknik
- Niveau
- øvet
Betydninger
1- 1
En klasse af reinforcement learning-algoritmer, der eksplicit lærer en model af miljøets dynamik (overgange og belønninger) og anvender denne model til at planlægge eller forbedre policyen.
- I model-based reinforcement learning kan agenten simulere tusindvis af episoder i sin lærte model for at finde den optimale politik.
- AlphaGo anvendte model-based reinforcement learning med Monte Carlo-træsøgning for at besejre verdensmesteren i Go. — Silver et al., 2016
Hvornår bruges det
Model-based reinforcement learning anvendes i scenarier, hvor simulering er mulig, og hvor sample-effektivitet er vigtig, f.eks. i robotstyring og spil. Det muliggør planlægning og hurtigere læring end model-fri metoder.
Oprindelse
Termen stammer fra klassisk reinforcement learning, hvor man skelner mellem model-baserede og model-fri metoder. Modellen refererer til en estimeret overgangsfunktion og belønningsfunktion.
Kilder
3- Reinforcement Learning: An Introduction (2nd edition)
- Model-Based Reinforcement Learning: A Survey
- Mastering the game of Go with deep neural networks and tree search