GMM y el Algoritmo EM

Un Modelo de Mezcla Gaussiana (GMM) asume que los datos provienen de $K$ clusters subyacentes, cada uno gaussiano con su propia media y covarianza: donde $\pi_k \geq 0$ y $\sum_k \pi_k = 1$ son los pesos de mezcla. Los GMM hacen *clustering suave* — cada punto tiene una probabilidad de pertenecer a cada cluster, no una etiqueta dura. Generalizan $k$-means (que es aproximadamente un GMM con covarianzas esféricas compartidas) y son la herramienta estándar para estimación de densidad y clustering basado en modelos.

Ajustar un GMM por máxima verosimilitud es difícil: la log-verosimilitud $\sum_n \log \sum_k \pi_k \mathcal{N}(\mathbf{x}_n; \boldsymbol\mu_k, \Sigma_k)$ no tiene máximo en forma cerrada por culpa del $\log \sum$. Aquí entra el algoritmo Expectation-Maximization (EM) — un procedimiento iterativo que aumenta monótonamente la verosimilitud alternando dos pasos. EM es el caballo de batalla de cualquier modelo con variables latentes.

El paso E calcula, para cada punto $n$ y cluster $k$, la responsabilidad (probabilidad posterior del cluster $k$ dado el punto bajo los parámetros actuales): Las responsabilidades son asignaciones suaves de cluster — si un punto pertenece claramente al cluster 3, $r_{n3} \approx 1$; si está entre los clusters 1 y 2, reparte masa entre ambos.

El paso M actualiza los parámetros para maximizar la log-verosimilitud completa esperada, usando las responsabilidades como pesos: Estas son exactamente la media muestral ponderada, la covarianza muestral ponderada y la proporción muestral ponderada. La actualización en forma cerrada es la recompensa por introducir variables latentes.

EM tiene garantizado aumentar monótonamente la verosimilitud y converge a un máximo local. La inicialización importa: arranques aleatorios pueden caer en óptimos locales pobres, así que la siembra con $k$-means++ es habitual. También acechan singularidades — si una gaussiana colapsa a un solo punto, su varianza tiende a $0$ y la verosimilitud a $\infty$. Regulariza sumando $\epsilon I$ a cada covarianza o con priors bayesianos. Más allá de los GMM, EM entrena HMMs, latent Dirichlet allocation, análisis factorial y muchísimos otros modelos de variables latentes.

Ejemplo resuelto — una iteración de EM en datos 1D: Datos $\{-2, -1.8, 2.1, 2.3\}$, inicializa $K=2$ con $\mu_1 = -1, \mu_2 = 1, \sigma_1^2 = \sigma_2^2 = 1, \pi_1 = \pi_2 = 0.5$. Paso E: para $x = -2$, $\mathcal{N}(-2; -1, 1) \propto e^{-0.5}$, $\mathcal{N}(-2; 1, 1) \propto e^{-4.5}$, así que $r_{1,1} = e^{-0.5}/(e^{-0.5} + e^{-4.5}) \approx 0.982$. Por simetría $r_{4,2} \approx 0.982$. Paso M (cluster 1): $N_1 \approx 0.982 + 0.982 + 0.018 + 0.018 = 2$, $\mu_1 \approx (-2 \cdot 0.982 + (-1.8) \cdot 0.982 + 2.1 \cdot 0.018 + 2.3 \cdot 0.018)/2 \approx -1.83$. La media saltó al promedio empírico del cluster izquierdo.