Regresión Lineal Bayesiana

La regresión lineal bayesiana trata los pesos $\boldsymbol\beta$ como una *variable aleatoria* en vez de una constante desconocida. Empezamos con una previa $p(\boldsymbol\beta) = \mathcal{N}(\mathbf{0}, \Sigma_0)$, observamos datos y aplicamos la regla de Bayes para obtener la posterior $p(\boldsymbol\beta \mid \mathcal{D})$. La recompensa: en vez de una sola estimación puntual, tenemos una distribución completa sobre los pesos que cuantifica la incertidumbre.

La conjugación es nuestra aliada. Con verosimilitud gaussiana $p(\mathbf{y} \mid X, \boldsymbol\beta) = \mathcal{N}(\mathbf{y}; X\boldsymbol\beta, \sigma^2 I)$ y previa gaussiana $\mathcal{N}(\mathbf{0}, \tau^2 I)$, la posterior también es gaussiana: donde $\Sigma_N = \left( \frac{1}{\sigma^2} X^\top X + \frac{1}{\tau^2} I \right)^{-1}$ y $\boldsymbol\mu_N = \frac{1}{\sigma^2} \Sigma_N X^\top \mathbf{y}$. La media posterior $\boldsymbol\mu_N$ coincide con la solución de regresión Ridge — MAP es el modo de la posterior, que para gaussianas también es la media.

El verdadero premio es la distribución predictiva posterior para un nuevo punto $\mathbf{x}_*$: La varianza predictiva tiene dos partes: incertidumbre sobre los parámetros ($\mathbf{x}_*^\top \Sigma_N \mathbf{x}_*$, que se encoge con más datos) y ruido irreducible ($\sigma^2$). Esto es lo que le da a la regresión bayesiana sus barras de error — las predicciones en regiones bien muestreadas son confiadas; las predicciones lejos de los datos de entrenamiento llevan una incertidumbre grande.

La regresión bayesiana se degrada con elegancia. Con cero datos la previa domina: $\boldsymbol\mu_N = \mathbf{0}$, $\Sigma_N = \tau^2 I$, y la distribución predictiva es ancha en todas partes. Cuando $N \to \infty$, la posterior se concentra en el verdadero $\boldsymbol\beta$ y la varianza predictiva se acerca a $\sigma^2$. Esta actualización bayesiana es una interpolación suave entre el conocimiento previo y el ajuste a los datos, con la incertidumbre rastreada en cada paso.

La conexión con los procesos gaussianos es estrecha: los GP son esencialmente regresión lineal bayesiana con infinitas características, parametrizada por un kernel en lugar de un mapa de características finito. El deep learning moderno toma prestada la intuición: las redes neuronales bayesianas, MC dropout y los deep ensembles son intentos de recuperar la incertidumbre predictiva posterior para modelos más ricos. La teoría nunca desaparece — solo se vuelve más difícil de implementar exactamente.

Ejemplo trabajado — la posterior se contrae con más datos: Agrega una segunda observación $y_2 = 2.2$ en $x_2 = 1$. La precisión posterior se vuelve $1 + 4 + 4 = 9$, así que $\Sigma_N = 1/9 \approx 0.11$. La media posterior es $(1/9) \cdot 4 \cdot (1 \cdot 2 + 1 \cdot 2.2) = 4.2 \cdot 4 / 9 \approx 1.87$. La varianza se redujo a la mitad y la estimación se acercó al promedio empírico $2.1$ — la influencia de la previa se desvanece a medida que se acumulan datos.