tilstandsværdifunktion

1. 1

   Værdifunktionen V^π for en given politik π, defineret som den forventede kumulative diskonterede belønning fra tilstand s.

   • Tilstandsværdifunktionen V^π(s) bruges til at vurdere, hvor god tilstand s er under politikken π. — Eksempel konstrueret til ordbogen
2. 2

   Den optimale tilstandsværdifunktion V^*(s), der giver den maksimale forventede afkast fra tilstand s over alle politikker.

   • Bellman optimalitetsligning for V^* er central i værdibaseret reinforcement learning. — Eksempel konstrueret til ordbogen

Anvendes i reinforcement learning til at evaluere politikker og til at lære optimale strategier via dynamisk programmering eller TD-læring.

V^π(s) = E_π[∑_{t=0}^∞ γ^t R_{t+1} | S_0 = s]

def compute_state_value(env, policy, gamma=0.9, theta=1e-6):
    V = {s: 0 for s in env.states}
    while True:
        delta = 0
        for s in env.states:
            v = V[s]
            V[s] = sum(policy[s][a] * sum(prob * (r + gamma * V[ns]) for prob, ns, r, _ in env.transitions(s, a)) for a in env.actions(s))
            delta = max(delta, abs(v - V[s]))
        if delta < theta:
            break
    return V

Eksempel på iterativ politik-evaluering, der beregner tilstandsværdifunktionen V^π for en given politik.

Fra engelsk 'state-value function'. 'Tilstand' oversætter 'state', 'værdi' oversætter 'value', og 'funktion' oversætter 'function'.

• Reinforcement Learning: An Introduction (Sutton & Barto, 2018)