18 · El panorama del RL profundo
Un mapa del campo: basados en valores (DQN, Rainbow), gradiente de política/actor-crítico (A2C, PPO, SAC), basados en modelo (MuZero) y RLHF — el puente del RL a los LLMs modernos.
El RL profundo moderno se divide en tres familias — basados en valores (DQN/Rainbow), gradiente de política y actor-crítico (A2C, PPO, SAC) y basados en modelo (Dyna, MuZero) — y el objetivo recortado de PPO, el caballo de batalla del campo, es también el algoritmo detrás de RLHF que alinea modelos de lenguaje grandes.
Sin esto:
Sin el mapa no puedes saber qué algoritmo encaja en un problema (acciones discretas vs continuas, presupuesto de muestras, simulador disponible) ni ver por qué el RL de pronto importa para los LLMs.
Ahora tienes todo el kit de herramientas — bandits, MDPs, programación dinámica, Monte Carlo, TD, Q-learning, gradientes de política, actor-crítico y DQN. Esta lección es el mapa que ubica cada método moderno en su familia.
1 — Basados en valores. Aprenden Q(s,a) y actúan codiciosamente. DQN es el prototipo; el paper Rainbow combinó seis mejoras independientes — Double DQN (reduce la sobreestimación), redes dueling (separan valor-de-estado y ventaja), repetición priorizada (muestrea más las transiciones sorprendentes), retornos multi-paso, RL distribucional (C51, aprende la distribución de retornos) y noisy nets (exploración aprendida). Mejores para espacios de acción discretos.
2 — Gradiente de política y actor-crítico. Parametrizan y mejoran la política directamente. A2C es el actor-crítico síncrono del capítulo anterior; PPO (Optimización de Política Proximal) hace estable el gradiente de política recortando cuánto puede moverse la política por actualización — es la opción robusta por defecto en la mayoría de dominios. SAC (Soft Actor-Critic) añade un bono de entropía para explorar y destaca en control continuo (robótica). Estos manejan acciones continuas de forma natural, donde un max sobre acciones es intratable.
3 — Basados en modelo. Aprenden (o reciben) un modelo del entorno y planifican con él. Dyna mezcla experiencia real e imaginada; MuZero aprende un modelo de dinámica latente y planifica con búsqueda en árbol de Monte Carlo, dominando Go, ajedrez, shogi y Atari sin que le digan las reglas. Los métodos basados en modelo son mucho más eficientes en muestras cuando se puede aprender un modelo.
El algoritmo más importante de conocer es PPO, y la demo hace concreta su idea central: el objetivo subrogado recortado. PPO maximiza r(θ)·A donde r(θ) es el cociente de probabilidades (política nueva / política vieja) y A es la ventaja — pero recorta r a [1-ε, 1+ε] para que una sola actualización nunca mueva demasiado la política. Ese recorte es toda la razón por la que PPO es estable.
Python (in browser)
El objetivo subrogado recortado de PPO en NumPy: recortar el cociente de probabilidades a [1-ε, 1+ε] limita cuánto puede mover la política una actualización, que es justo lo que hace estable a PPO.
Python runs entirely in your browser via Pyodide (~6 MB on first Run, cached after).
En PPO, ¿qué logra recortar el cociente de probabilidades r(θ) a [1-ε, 1+ε]?
- El RL profundo tiene tres familias: basados en valores (DQN, Rainbow), gradiente de política/actor-crítico (A2C, PPO, SAC) y basados en modelo (Dyna, MuZero).
- PPO es el default robusto: recortar el cociente de probabilidades a [1-ε, 1+ε] limita cada actualización de política y mantiene estable el entrenamiento.
- RLHF alinea LLMs con RL — el LLM es la política, los tokens son acciones, un modelo de recompensa puntúa las salidas y PPO hace la optimización.
PPO entrena robots, agentes de juegos y (vía RLHF) los LLMs ajustados por instrucciones que usas a diario; elegir una familia es una decisión de diseño central en cualquier proyecto de RL.
Si lo quitas: Sin el panorama reinventarías algoritmos a ciegas y perderías que la misma maquinaria de RL impulsa tanto la robótica como la alineación de LLMs.