1 · Agente, entorno, recompensa
El aprendizaje por refuerzo es el tercer pilar: un agente aprende a ACTUAR por ensayo y error, guiado solo por una señal de recompensa. Conoce el bucle que define todo el campo.
El RL es aprender por interacción: un agente observa un estado, toma una acción y recibe una recompensa + un nuevo estado del entorno — repitiendo para maximizar la recompensa total en el tiempo. Sin ejemplos etiquetados, solo una señal de recompensa.
Sin esto:
Sin el marco agente-entorno-recompensa, el RL parece una bolsa de algoritmos. Con él, cada método (Q-learning, gradientes de política, DQN) es solo una forma distinta de convertir la experiencia de este bucle en mejores acciones.
El aprendizaje supervisado aprende de ejemplos etiquetados; el no supervisado encuentra estructura en datos sin etiquetar. El aprendizaje por refuerzo (RL) es el tercer pilar y aprende algo distinto: cómo actuar. No hay etiquetas de respuesta correcta — solo una señal de recompensa que dice qué tan bien van las cosas.
Todo el campo se construye sobre un bucle entre dos partes:
- El agente — el que aprende/decide (lo que entrenamos).
- El entorno — todo lo que está fuera del agente (el mundo, un juego, un mercado).
En cada paso de tiempo t:
- El agente ve un estado
s_t(cómo se ve el entorno ahora). - El agente elige una acción
a_t. - El entorno responde con una recompensa
r_{t+1}(un número) y el siguiente estados_{t+1}.
La meta del agente es elegir acciones que maximicen la recompensa total acumulada en el tiempo — no solo la recompensa inmediata. Esa distinción (preocuparse por el futuro) es lo que hace al RL difícil e interesante: una acción que ahora parece mala (sacrificar una pieza en ajedrez) puede llevar a mucha más recompensa después.
Abajo está el bucle en código, con un entorno trivial y un agente aleatorio. Todo este track trata de hacer ese agente inteligente en vez de aleatorio — pero el bucle nunca cambia.
Python (in browser)
El bucle agente-entorno-recompensa: estado → acción → (recompensa, siguiente estado), repetido. Un 'entorno' es solo una función step().
Python runs entirely in your browser via Pyodide (~6 MB on first Run, cached after).
¿Qué distingue fundamentalmente al aprendizaje por refuerzo del supervisado?
- RL = aprender a actuar por interacción: estado → acción → recompensa + siguiente estado, repetido para maximizar la recompensa total.
- Un entorno es concretamente una función step(state, action) → (next_state, reward, done); el agente es una política que mapea estados a acciones.
- El agente maximiza la recompensa a largo plazo (futura), no solo la inmediata — eso es lo que hace distintivo al RL.
Agentes que juegan (AlphaGo), robótica, recomendación y RLHF — el 'refuerzo' en los LLMs ajustados por instrucciones — son todos este bucle.
Si lo quitas: Sin el marco de interacción-y-recompensa no puedes modelar problemas de decisión secuencial donde las acciones cambian los estados futuros.