2 · Procesos de decisión de Markov
El MDP es el lenguaje formal del RL: estados, acciones, probabilidades de transición, recompensas y un factor de descuento. Casi todo problema de RL es un MDP.
Un proceso de decisión de Markov es la 5-tupla (S, A, P, R, γ): estados, acciones, probabilidades de transición P(s'|s,a), recompensas R(s,a) y un descuento γ. La propiedad de Markov — el siguiente estado depende solo del estado y la acción actuales — es lo que hace tratable el RL.
Sin esto:
Sin el formalismo del MDP no puedes definir qué significa 'óptimo' ni aplicar las ecuaciones de Bellman en las que descansa todo método basado en valores.
Para razonar sobre RL con precisión modelamos el entorno como un proceso de decisión de Markov (MDP) — una 5-tupla (S, A, P, R, γ):
- S — el conjunto de estados.
- A — el conjunto de acciones.
- P(s' | s, a) — la probabilidad de transición de llegar al estado
s'tras tomar la acciónaen el estados. Los entornos pueden ser estocásticos: la misma acción puede llevar a distintos estados. - R(s, a) — la recompensa por tomar la acción
aen el estados. - γ (gamma, 0 ≤ γ < 1) — el factor de descuento, cuánto valoramos la recompensa futura vs la inmediata (próxima lección).
La suposición que lo define es la propiedad de Markov: el siguiente estado y recompensa dependen solo del estado y la acción actuales, no de toda la historia de cómo llegaste ahí. Esto es lo que hace soluble el problema — el estado actual es un resumen suficiente del pasado.
Abajo definimos un pequeño MDP estocástico explícitamente — una cadena de 4 estados donde avanzar normalmente funciona pero a veces resbala — y simulamos trayectorias. Ver P como una tabla de probabilidad real hace concreta la abstracción.
Python (in browser)
Un MDP hecho explícito: estados, una tabla de transición estocástica P(s'|s,a), recompensas y γ. La propiedad de Markov significa que cada paso depende solo del estado actual.
Python runs entirely in your browser via Pyodide (~6 MB on first Run, cached after).
¿Qué afirma la propiedad de Markov?
- Un MDP es la 5-tupla (S, A, P, R, γ): estados, acciones, probabilidades de transición, recompensas y factor de descuento.
- Las transiciones pueden ser estocásticas — P(s'|s,a) es una distribución, así que la misma acción puede dar distintos estados.
- La propiedad de Markov (el futuro depende solo del estado+acción presentes) es la suposición que hace tratable el RL.
Todo método basado en valores y de programación dinámica se define sobre un MDP; incluso los bandits y el RL contextual son casos especiales.
Si lo quitas: Sin el formalismo del MDP, 'política óptima' y las ecuaciones de Bellman no tienen significado preciso.