Estimación de Parámetros (MLE y MAP)

Los modelos probabilísticos replantean el aprendizaje como estimación de parámetros. Asume que los datos son generados por $p(y \mid \mathbf{x}, \theta)$ — una familia de distribuciones indexada por $\theta$. Dadas muestras i.i.d. $\mathcal{D}$, la verosimilitud es $p(\mathcal{D} \mid \theta) = \prod_n p(y_n \mid \mathbf{x}_n, \theta)$. Es la probabilidad que el modelo asigna a los datos como función de los parámetros.

La estimación de máxima verosimilitud (MLE) elige los parámetros que hacen los datos observados más probables: Trabajamos con la log-verosimilitud porque convierte productos en sumas (numéricamente estable) y porque el $\log$ es monótono (mismo argmax). Para un modelo de observación gaussiano con varianza fija, maximizar la log-verosimilitud equivale exactamente a minimizar el error cuadrático — una hermosa unificación de los puntos de vista probabilístico y de ERM.

La estimación máxima a posteriori (MAP) incorpora una previa $p(\theta)$. Por la regla de Bayes, la posterior es $p(\theta \mid \mathcal{D}) \propto p(\mathcal{D} \mid \theta)\, p(\theta)$, y MAP la maximiza: La previa actúa como regularizador. Una previa gaussiana $\theta \sim \mathcal{N}(\mathbf{0}, \tau^2 I)$ da una penalización $\ell_2$ (regresión Ridge). Una previa Laplace da $\ell_1$ (Lasso). La regularización no es un truco — es una previa bayesiana con principios expresada a través del modo de la posterior.

MLE es consistente y asintóticamente eficiente bajo condiciones de regularidad: cuando $N \to \infty$, $\hat\theta_{\text{MLE}} \to \theta^*$ y su varianza alcanza la cota inferior de Cramér-Rao. MAP hereda estas propiedades cuando la previa es informativa pero no abrumadora. Cuando la previa domina ($N$ pequeño), MAP queda sesgada hacia la previa; cuando la verosimilitud domina ($N$ grande), MAP y MLE coinciden.

Tanto MLE como MAP devuelven estimaciones puntuales — un único $\hat\theta$. Ignoran la incertidumbre sobre $\theta$ mismo, lo que puede producir predicciones sobreconfiadas. La inferencia totalmente bayesiana, que exploraremos en regresión lineal, conserva toda la posterior $p(\theta \mid \mathcal{D})$ y propaga la incertidumbre a las predicciones: $p(y_* \mid \mathbf{x}_*, \mathcal{D}) = \int p(y_* \mid \mathbf{x}_*, \theta)\, p(\theta \mid \mathcal{D})\, d\theta$.

Ejemplo trabajado — MLE para el sesgo de una moneda: Dados 7 caras en 10 lanzamientos, la verosimilitud es $p(\mathcal{D} \mid p) = p^7 (1-p)^3$. Tomando $\log$ y derivando: $\frac{7}{p} - \frac{3}{1-p} = 0 \Rightarrow 7(1-p) = 3p \Rightarrow p = 0.7$. La MLE simplemente coincide con la frecuencia empírica — como debería para una verosimilitud Bernoulli.

Ejemplo trabajado — MAP con previa Beta(2,2) sobre la misma moneda: Con previa $p(\theta) \propto \theta(1-\theta)$, la posterior es $\theta^{7+1}(1-\theta)^{3+1} = \theta^8(1-\theta)^4$. Maximizando: $\frac{8}{\theta} - \frac{4}{1-\theta} = 0 \Rightarrow \theta = 8/12 \approx 0.667$. La previa encoge la estimación de 0.7 hacia 0.5 — menos agresivo que MLE, exactamente el efecto de regularización de una previa no plana.