Datos, Modelos y Aprendizaje

Los siete capítulos anteriores construyeron una caja de herramientas matemática. El capítulo 8 gira la llave y abre la puerta al machine learning propiamente dicho. Tres ingredientes se repiten en cada pipeline de ML: datos (un conjunto de observaciones $\mathcal{D} = \{(\mathbf{x}_n, y_n)\}_{n=1}^{N}$), un modelo (una familia paramétrica de funciones $f_\theta : \mathcal{X} \to \mathcal{Y}$) y un principio de aprendizaje (una regla para elegir $\theta$ a partir de $\mathcal{D}$). El aprendizaje supervisado, en el que nos enfocaremos, pregunta: dados datos etiquetados, encuentra $\theta$ tal que $f_\theta(\mathbf{x}) \approx y$ en entradas futuras.

El principio de aprendizaje dominante es la minimización del riesgo empírico (ERM). Define una pérdida $\ell(y, \hat{y})$ que mide el desacuerdo (error cuadrático para regresión, entropía cruzada para clasificación). El riesgo empírico promedia la pérdida sobre los datos de entrenamiento: ERM elige $\hat\theta = \arg\min_\theta R_{\text{emp}}(\theta)$. Este es el caballo de batalla detrás de la regresión lineal, regresión logística, SVMs y redes profundas — solo difieren en la elección de $f_\theta$ y $\ell$.

La cantidad que de verdad nos importa es el riesgo esperado $R(\theta) = \mathbb{E}_{(\mathbf{x}, y)}[\ell(y, f_\theta(\mathbf{x}))]$ bajo la distribución de datos desconocida $p^*$. El riesgo empírico es una estimación de muestra finita del riesgo esperado — cercana cuando $N$ es grande (ley de los grandes números), ruidosa cuando $N$ es pequeño. La brecha entre ambos es el gap de generalización, y controlarlo es la preocupación teórica central del ML.

Dos modos de falla amenazan a ERM. El sobreajuste ocurre cuando un modelo flexible memoriza las peculiaridades del entrenamiento, llevando $R_{\text{emp}}$ a cero mientras $R$ se mantiene alto. El subajuste ocurre cuando un modelo rígido ni siquiera puede ajustar los datos, así que ambos riesgos quedan altos. El remedio es la regularización — agregar una penalización $\lambda \Omega(\theta)$ que prefiere modelos más simples — y la selección de modelos mediante datos de validación reservados o validación cruzada.

La clásica descomposición sesgo-varianza enmarca esta tensión: donde el sesgo mide el error sistemático, la varianza mide la sensibilidad a la muestra de entrenamiento y $\sigma^2$ es el ruido irreducible. Más capacidad reduce el sesgo pero aumenta la varianza. La regularización y más datos desplazan este compromiso. Entender esta descomposición es lo que separa a un modelador con criterio de quien anda probando hiperparámetros a ciegas.

Ejemplo trabajado — partición train/test: De 10 puntos, usa 8 para entrenamiento y 2 para validación. Si el MSE de entrenamiento es 0.05 y el de validación es 0.42, el gap de generalización es $0.37$ — una señal clara de sobreajuste. Reducir la capacidad o agregar regularización $\lambda \|\mathbf{w}\|^2$ debería encoger este gap en la siguiente corrida.