Modelado Probabilístico y Selección de Modelos

Una vez que aceptas la mirada probabilística, *cada* decisión de modelado — la forma funcional, la distribución del ruido, la previa — es un supuesto que se puede comparar con alternativas. La selección de modelos es la tarea de elegir entre modelos candidatos $\mathcal{M}_1, \mathcal{M}_2, \ldots$ según qué tan bien explica cada uno los datos sin sobreajustar.

La respuesta bayesiana es la verosimilitud marginal (también llamada evidencia): La evidencia encarna automáticamente la navaja de Occam: los modelos complejos tienen previas más amplias, lo que reparte la masa de probabilidad sobre un espacio de parámetros más grande, así que solo 'ganan' cuando los datos realmente exigen la flexibilidad extra. El factor de Bayes $p(\mathcal{D} \mid \mathcal{M}_1) / p(\mathcal{D} \mid \mathcal{M}_2)$ compara dos modelos de forma directa.

La evidencia exacta suele ser intratable, así que en la práctica se usan criterios de información como aproximaciones calculables. El Criterio de Información Bayesiano es $\text{BIC} = -2 \log p(\mathcal{D} \mid \hat\theta_{\text{MLE}}) + k \log N$, donde $k$ es el número de parámetros y $N$ el tamaño muestral; es una aproximación de $N$ grande a $-2 \log p(\mathcal{D} \mid \mathcal{M})$. El Criterio de Información de Akaike es $\text{AIC} = -2 \log p(\mathcal{D} \mid \hat\theta_{\text{MLE}}) + 2k$; estima la pérdida esperada fuera de muestra. Ambos prefieren valores más bajos. BIC penaliza la complejidad de forma más agresiva que AIC.

En la práctica, la validación cruzada (especialmente $k$-fold) es el caballo de batalla frecuentista: particiona los datos, entrena en $k-1$ folds, valida en el restante, promedia. A diferencia de AIC/BIC, CV no asume distribuciones y estima directamente el error de generalización. La contraparte es el cómputo: cada configuración de hiperparámetros requiere $k$ ajustes del modelo.

Por último, el promedio bayesiano de modelos (BMA) evita elegir: pondera predicciones por la probabilidad posterior del modelo, $p(y_* \mid \mathbf{x}_*, \mathcal{D}) = \sum_m p(y_* \mid \mathbf{x}_*, \mathcal{M}_m)\, p(\mathcal{M}_m \mid \mathcal{D})$. BMA es la manera con principios de cubrirse ante la incertidumbre dentro de una familia de modelos, y en la práctica los ensambles (random forests, redes con bagging) son BMA aproximado. Selección vs. promedio es una elección filosófica: ¿te casas con una historia o mantienes un portafolio de varias compatibles?

Ejemplo trabajado — BIC: lineal vs cuadrático con $N = 50$: Supón que un ajuste lineal ($k = 2$) da log-verosimilitud $-120$, mientras que uno cuadrático ($k = 3$) llega a $-115$. $\text{BIC}_{\text{lin}} = 240 + 2\log 50 \approx 247.82$; $\text{BIC}_{\text{quad}} = 230 + 3\log 50 \approx 241.74$. El cuadrático gana por ~6 — evidencia modesta de que el parámetro extra se justifica. Con solo $N = 10$, la brecha de penalización sería más chica y el veredicto podría voltearse.

Ejemplo trabajado — desacuerdo AIC vs BIC: Mismo setup con $N = 1000$: $\text{AIC}_{\text{lin}} = 244, \text{AIC}_{\text{quad}} = 236$ (cuadrático por 8); $\text{BIC}_{\text{lin}} = 253.8, \text{BIC}_{\text{quad}} = 250.7$ (cuadrático por 3). La penalización $\log N$ más pesada de BIC lo vuelve más conservador — cuando AIC y BIC no coinciden, suele ser señal de una decisión de complejidad fronteriza que vale la pena investigar con validación cruzada.