6 · Las ecuaciones de Bellman
Las funciones de valor miden qué tan bueno es un estado (o un par estado-acción). La ecuación de expectativa de Bellman escribe cada valor en términos de sus sucesores — y convertirla en una actualización nos da la evaluación iterativa de políticas.
El valor de estado V^π(s) es el retorno esperado desde s bajo la política π; el valor de acción Q^π(s,a) es el retorno esperado al tomar a en s y luego seguir π. La ecuación de expectativa de Bellman liga cada valor con sus sucesores — V^π(s) = Σ_a π(a|s) Σ_s' P(s'|s,a)[R + γ V^π(s')] — y barrer esa ecuación como una actualización es la evaluación iterativa de políticas.
Sin esto:
Sin funciones de valor y la recursión de Bellman tendrías que simular y promediar trayectorias completas desde cada estado — algo carísimo. La ecuación de Bellman es el truco recursivo que vuelve tratable evaluar y mejorar políticas.
Ya podemos escribir qué tan buenas son las situaciones. Dos funciones de valor hacen esto, ambas definidas como el retorno esperado (la suma descontada de recompensas futuras del Capítulo 1) bajo una política fija π:
- El valor de estado
V^π(s)— el retorno esperado si el agente parte del estadosy luego actúa según π para siempre. - El valor de acción
Q^π(s, a)— el retorno esperado si el agente toma la acciónaen el estadosprimero, y solo después sigue π.
La relación clave es la ecuación de expectativa de Bellman. El retorno desde s es la recompensa inmediata más el retorno (descontado) desde donde aterrices. Tomando esperanzas sobre la política y las transiciones:
V^π(s) = Σ_a π(a|s) · Σ_s' P(s'|s,a) · [ R(s,a,s') + γ · V^π(s') ]
Léelo así: el valor de un estado es el promedio — sobre las acciones que podrías tomar y los estados a los que podrías llegar — de (recompensa ahora + valor descontado del siguiente estado). Es un sistema de ecuaciones lineales, una por estado. Como el valor de s se escribe en términos de los valores de sus sucesores, es una recursión.
Aquí el modelo del entorno (P y R) es conocido, así que podemos resolverlo sin interactuar nunca — esto es programación dinámica. El método más simple, la evaluación iterativa de políticas, trata la ecuación de Bellman como una asignación y la barre sobre todos los estados hasta que los valores dejan de cambiar. Abajo evaluamos la política uniforme aleatoria en un gridworld de 4×4.
Python (in browser)
Evaluación iterativa de políticas: barre el backup de expectativa de Bellman hasta que V converge. La cuadrícula de valores de la política aleatoria ya 'brilla' hacia la meta y se 'apaga' cerca de la trampa.
Python runs entirely in your browser via Pyodide (~6 MB on first Run, cached after).
En la ecuación de expectativa de Bellman V^π(s) = Σ_a π(a|s) Σ_s' P(s'|s,a)[R + γ V^π(s')], ¿por qué aparece V^π(s') (el valor del SIGUIENTE estado) en el lado derecho?
- V^π(s) = retorno esperado desde s bajo π; Q^π(s,a) = retorno esperado al tomar a en s y luego seguir π.
- La ecuación de expectativa de Bellman escribe cada valor como (recompensa ahora + γ × valor del siguiente estado), promediado sobre la política y las transiciones.
- La evaluación iterativa de políticas barre esa ecuación como una actualización hasta que V converge — posible solo porque el modelo (P, R) es conocido.
Todo método basado en valores (iteración de políticas, Q-learning, DQN, actor-crítico) es un backup de Bellman disfrazado; la ecuación de expectativa es además el objetivo del crítico en el RL profundo moderno.
Si lo quitas: Sin la recursión de Bellman, evaluar una política significaría promediar simulaciones Monte Carlo completas desde cada estado — mucho más lento e imposible para tareas continuas.