1 · Fundamentos de RL
Agente, entorno, recompensa y el marco formal: procesos de decisión de Markov, retornos y políticas.
●Track 11 · En vivo
Aprendizaje por refuerzo
Aprende por ensayo y error — agentes, recompensas, Q-learning, gradientes de política.
El tercer pilar tras el aprendizaje supervisado y no supervisado: un agente aprende a actuar maximizando la recompensa. Procesos de decisión de Markov, programación dinámica, aprendizaje Monte Carlo y por diferencia temporal, Q-learning y SARSA, gradientes de política (REINFORCE, actor-critic) y las ideas detrás del Deep RL (DQN). Cada algoritmo se implementa desde cero en un entorno diminuto que ejecutas en el navegador (gridworld, bandits) — el DQN con PyTorch es para leer.
19 / 19 lecciones7 capítulos
2 · Bandits y exploración
El dilema exploración-vs-explotación en su forma más pura — bandits multi-brazo, epsilon-greedy y UCB.
3 · Programación dinámica
Cuando conoces las reglas del entorno: las ecuaciones de Bellman, iteración de valor e iteración de política, resueltas en un gridworld.
4 · Predicción sin modelo
Aprender el valor solo desde la experiencia — retornos Monte Carlo y bootstrapping por diferencia temporal (TD).
5 · Control sin modelo
Aprender una política óptima por ensayo y error — Q-learning, SARSA y un proyecto completo de entrenamiento en gridworld.
6 · Gradientes de política
Optimiza la política directamente en vez de los valores — el teorema del gradiente de política, REINFORCE y actor-critic.
7 · Deep RL y capstone
Escalar RL con redes neuronales — DQN y sus trucos, el panorama del Deep RL moderno y un agente capstone entrenado de principio a fin.