environment model
En model, der repræsenterer dynamikken i et miljø, typisk brugt i forstærkningslæring til at forudsige næste tilstand og belønning givet en handling.
Kort fortalt
En environment model er en slags simulator, der lærer at efterligne et miljø, så en AI kan træne ved at 'tænke' i stedet for at handle i den virkelige verden.
- Kategori
- model
- Niveau
- øvet
Betydninger
1- 1
En funktion eller netværk, der lærer at forudsige tilstandsovergange og belønninger i et miljø, ofte implementeret som et neuralt netværk i forstærkningslæring.
- Agenten træner en environment model ved at observere faktiske overgange og derefter bruger den til at planlægge handlinger.
- En præcis environment model kan forbedre sample-effektiviteten dramatisk i komplekse miljøer.
Hvornår bruges det
Environment models anvendes i model-baseret forstærkningslæring (MBRL) til at generere syntetiske oplevelser, hvilket øger sample-effektiviteten. De bruges også i planlægning, hvor agenten simulerer flere handlingssekvenser for at vælge den bedste.
Oprindelse
Termen stammer fra forstærkningslæring, hvor 'environment' refererer til den eksterne verden agenten interagerer med, og 'model' betegner en repræsentation af dens overgange.
Afledte ord
2Kilder
1- World Models (Ha & Schmidhuber, 2018)