Conjugación y Familia Exponencial

En la inferencia bayesiana actualizamos un prior $p(\theta)$ con una verosimilitud $p(\mathcal{D} \mid \theta)$ para obtener una posterior $p(\theta \mid \mathcal{D}) \propto p(\mathcal{D} \mid \theta)p(\theta)$. La posterior suele ser desordenada — pero para ciertos pares prior-verosimilitud conjugados, la posterior tiene la misma forma funcional que el prior. Esto convierte la inferencia, de cálculo de integrales, en aritmética sobre parámetros.

Pares conjugados clásicos: prior Beta + verosimilitud Bernoulli/Binomial → posterior Beta; prior gaussiano (varianza conocida) + verosimilitud gaussiana → posterior gaussiana; prior Dirichlet + Multinomial → posterior Dirichlet; prior Gamma + Poisson → Gamma. La matemática se reduce a actualizar 'conteos efectivos' o 'parámetros naturales', evitando integrar.

La razón profunda de su existencia: la familia exponencial de distribuciones. Una familia tiene forma de familia exponencial si $p(x \mid \theta) = h(x) \exp\left(\boldsymbol\eta(\theta)^\top T(x) - A(\theta)\right)$, donde $T(x)$ son los estadísticos suficientes, $\boldsymbol\eta$ son los parámetros naturales y $A$ es la función log-partición. La gaussiana, Bernoulli, Poisson, Beta, Dirichlet, Gamma y categórica son todas familias exponenciales.

Las familias exponenciales tienen propiedades hermosas. Los estadísticos suficientes contienen toda la información de los datos sobre $\theta$ — puedes descartar los datos crudos. El MLE sale de igualar los estadísticos suficientes esperados con los empíricos. Cualquier familia exponencial tiene un prior conjugado de forma específica. Y la familia es cerrada bajo multiplicación (así las posteriores se quedan en ella).

En ML, este marco aclara muchos métodos. La regresión logística y la regresión de Poisson son familias exponenciales con el predictor lineal alimentando el parámetro natural — de ahí los modelos lineales generalizados (GLM). La inferencia variacional con aproximaciones de familia exponencial se vuelve actualizaciones por coordenadas de los parámetros. Incluso los modelos basados en energía modernos son familias exponenciales no normalizadas. Ver la familia escondida detrás de un modelo es un atajo tanto a la teoría como a algoritmos eficientes.

Ejemplo trabajado — conjugación Beta-Binomial: Comienza con prior $\text{Beta}(2,2)$ (creencia débil centrada en 0.5). Observa 7 caras en 10 lanzamientos. La posterior es $\text{Beta}(2+7,\; 2+3) = \text{Beta}(9, 5)$. Su media es $9/(9+5) \approx 0.643$ — desplazada desde la media del prior 0.5 hacia la frecuencia de los datos 0.7, pero retraída un poco por el prior.

Ejemplo trabajado — forma de familia exponencial de Bernoulli: $p(x \mid \theta) = \theta^x(1-\theta)^{1-x}$ se reescribe como $\exp\left(x \log\frac{\theta}{1-\theta} + \log(1-\theta)\right)$. Así el parámetro natural es $\eta = \log\frac{\theta}{1-\theta}$ (el logit), el estadístico suficiente es $T(x) = x$, y $A(\theta) = -\log(1-\theta)$. Este es exactamente el logit usado en la regresión logística.