GMM: Perspectiva de Variables Latentes

La forma más limpia de derivar los GMM y EM es mediante variables latentes. Introduce un latente categórico $z_n \in \{1, \ldots, K\}$ para cada punto, con prior $p(z_n = k) = \pi_k$. Condicional a $z_n = k$, la observación es gaussiana: $p(\mathbf{x}_n \mid z_n = k) = \mathcal{N}(\mathbf{x}_n; \boldsymbol\mu_k, \Sigma_k)$. Marginalizar $z_n$ recupera la densidad de la mezcla $p(\mathbf{x}_n) = \sum_k \pi_k \mathcal{N}(\mathbf{x}_n; \boldsymbol\mu_k, \Sigma_k)$.

La responsabilidad $r_{nk}$ del paso E es exactamente el posterior del latente: Es la regla de Bayes para el indicador oculto del cluster. EM ahora tiene una interpretación limpia: calcula el posterior sobre las variables ocultas (E), luego maximiza la log-verosimilitud completa esperada $\mathbb{E}_{p(z \mid \mathbf{x}, \boldsymbol\theta^{\text{old}})}[\log p(\mathbf{x}, z \mid \boldsymbol\theta)]$ (M).

La log-verosimilitud completa es $\sum_n \sum_k \mathbb{1}[z_n = k] \left[ \log \pi_k + \log \mathcal{N}(\mathbf{x}_n; \boldsymbol\mu_k, \Sigma_k) \right]$. Tomar esperanza respecto a las responsabilidades reemplaza los indicadores por $r_{nk}$, produciendo una suma de log-gaussianas ponderadas — desacopladas y fáciles de maximizar. Este desacople es la razón de que existan formas cerradas en el paso M: condicional a conocer las asignaciones suaves, el problema se factoriza.

Una vez entrenado, las responsabilidades revelan la pertenencia suave al cluster. Un punto cerca del centro de un cluster tiene $r_{nk} \approx 1$ para ese $k$; un punto equidistante de dos clusters reparte la masa. Esto es más rico que la asignación dura de $k$-means — el modelo sabe cuándo está incierto. Podemos usar las responsabilidades para detectar outliers (puntos con responsabilidad baja para todos los clusters tienen $p(\mathbf{x}_n)$ baja) o para visualizar la incertidumbre en las fronteras.

Este marco de variables latentes generaliza muchísimo más allá de los GMM. Los Hidden Markov Models usan una secuencia de estados latentes. Análisis Factorial y Probabilistic PCA tienen latentes continuos. Los Variational Autoencoders aprenden representaciones latentes profundas con verosimilitudes de redes neuronales. Latent Dirichlet Allocation asigna tópicos a documentos. Cada vez que veas EM, inferencia variacional o muestreo — hay una estructura de variables latentes debajo, y el GMM es el ejemplo canónico.

Ejemplo resuelto — priors desiguales reescriben la responsabilidad: Mismas dos componentes $\mathcal{N}(-1, 1)$ y $\mathcal{N}(1, 1)$ pero ahora $\pi_1 = 0.9, \pi_2 = 0.1$ (el cluster 1 es mucho más común). Para $x = 0.5$ antes obtuvimos $r_2 \approx 0.73$. Ahora los numeradores conjuntos son $0.9 e^{-1.125}$ y $0.1 e^{-0.125}$. Razón: $r_2 / r_1 = (0.1 / 0.9) \cdot e^{1} \approx 0.302$, así que $r_2 \approx 0.232$ y $r_1 \approx 0.768$. El prior fuerte volteó la asignación — la regla de Bayes en acción.

Ejemplo resuelto — log-verosimilitud completa vs. observada: Supón que un punto $x = 0$ recibe responsabilidad $r_1 = 0.7, r_2 = 0.3$ bajo dos componentes $\mathcal{N}(-1, 1), \mathcal{N}(1, 1)$ con priors iguales. Log-verosimilitud observada: $\log(0.5 \mathcal{N}(0;-1,1) + 0.5\mathcal{N}(0;1,1)) = \log(\mathcal{N}(0;-1,1)) \approx -1.42$ (más una constante). Log-verosimilitud completa esperada: $0.7 [\log 0.5 + \log\mathcal{N}(0;-1,1)] + 0.3 [\log 0.5 + \log\mathcal{N}(0;1,1)]$, limpiamente desacoplada entre clusters — el paso M puede maximizar cada componente de forma independiente.