3 · Retornos, descuento y políticas
El agente maximiza el RETORNO — la suma descontada de recompensas futuras. Una política es su estrategia. Estas dos definiciones preparan todo lo que sigue.
El retorno G_t = r_{t+1} + γ r_{t+2} + γ² r_{t+3} + … es la suma descontada de recompensas futuras que el agente realmente maximiza. Una política π(a|s) es la estrategia del agente — un mapeo de estados a probabilidades de acción.
Sin esto:
Sin un objetivo preciso (el retorno descontado) y un objeto de estrategia preciso (la política), no puedes comparar agentes ni definir qué significa aprender.
Dos definiciones completan los fundamentos.
El retorno. El agente no maximiza la recompensa inmediata — maximiza el retorno G_t, la suma (descontada) de todas las recompensas futuras desde el tiempo t:
G_t = r_{t+1} + γ·r_{t+2} + γ²·r_{t+3} + … = Σ γ^k · r_{t+k+1}
El factor de descuento γ (0 ≤ γ < 1) hace dos trabajos: vuelve finita la suma infinita (converge) y codifica qué tan previsor es el agente. γ cerca de 0 → miope (solo importa la siguiente recompensa); γ cerca de 1 → previsor (las recompensas lejanas cuentan casi tanto como ahora). Una recompensa R recibida k pasos en el futuro vale solo γ^k · R hoy.
La política. Una política π es la estrategia del agente: π(a | s) es la probabilidad de tomar la acción a en el estado s. Una política determinista siempre elige una acción por estado; una estocástica reparte probabilidad entre acciones. Aprender, en RL, significa mejorar la política para que el retorno esperado suba.
Abajo calculamos retornos para la misma secuencia de recompensas con distintos γ, y evaluamos el retorno esperado de una política fija por simulación (una estimación "Monte Carlo" — el tema del Capítulo 4).
Python (in browser)
Retorno = suma descontada de recompensas futuras; una política mapea estados a acciones. Mejor política → mayor retorno esperado, la cantidad que el RL maximiza.
Python runs entirely in your browser via Pyodide (~6 MB on first Run, cached after).
Una recompensa de +100 se recibirá dentro de 10 pasos. Con factor de descuento γ = 0.9, ¿cuánto vale aproximadamente para el agente hoy?
- El retorno G_t es la suma descontada de recompensas futuras Σ γ^k r_{t+k+1} — el objetivo real que el agente maximiza.
- γ (0≤γ<1) vuelve finita la suma y fija qué tan previsor es el agente; una recompensa a k pasos vale γ^k de su valor.
- Una política π(a|s) es la estrategia del agente; aprender = mejorar la política para subir el retorno esperado.
Todo algoritmo de RL optimiza el retorno esperado descontado; γ aparece en cada actualización de valor y estimador de gradiente de política de este track.
Si lo quitas: Sin un retorno y una política definidos, 'mejor agente' es indefinido y no se puede derivar ninguna regla de aprendizaje.