Distribución Gaussiana

La distribución gaussiana (o normal) es la distribución más importante de la estadística y el ML. Una gaussiana univariada tiene densidad $p(x) = \frac{1}{\sqrt{2\pi \sigma^2}} \exp\left(-\frac{(x - \mu)^2}{2\sigma^2}\right)$, parametrizada por la media $\mu$ y la varianza $\sigma^2$. Su clásica forma de campana: simétrica alrededor de $\mu$, puntos de inflexión en $\mu \pm \sigma$, y aproximadamente el 99.7% de la masa dentro de $\mu \pm 3\sigma$.

La gaussiana multivariada $\mathcal{N}(\boldsymbol\mu, \Sigma)$ en $\mathbb{R}^d$ tiene densidad $p(\mathbf{x}) = \frac{1}{\sqrt{(2\pi)^d \det\Sigma}} \exp\left(-\tfrac{1}{2}(\mathbf{x} - \boldsymbol\mu)^\top \Sigma^{-1}(\mathbf{x} - \boldsymbol\mu)\right)$. Las curvas de nivel son elipsoides alineados con los autovectores de $\Sigma$ — los mismos autovectores que recupera PCA. La media es el centro; la covarianza describe la forma y la orientación.

Las gaussianas son cerradas bajo varias operaciones: las sumas de gaussianas independientes son gaussianas, las transformaciones afines $A\mathbf{x} + \mathbf{b}$ de vectores gaussianos son gaussianas, las marginales son gaussianas y las condicionales son gaussianas. Las fórmulas condicionales $p(\mathbf{x}_1 \mid \mathbf{x}_2)$ tienen forma cerrada — los caballos de batalla de los procesos gaussianos y los filtros de Kalman.

¿Por qué hay gaussianas por todas partes? Tres razones. El teorema central del límite dice que las sumas de muchas variables independientes se vuelven aproximadamente gaussianas, así que el ruido se modela frecuentemente como gaussiano. El principio de máxima entropía dice que la gaussiana es la distribución 'más incierta' dada una media y varianza fijas, lo que la hace la elección menos comprometida. Y, en la práctica, el álgebra cerrada de la gaussiana hace que la inferencia sea tratable.

En ML, las gaussianas alimentan el modelo de ruido de la regresión lineal ($y = \mathbf{w}^\top \mathbf{x} + \epsilon$, $\epsilon \sim \mathcal{N}$), los autoencoders variacionales (latentes y posteriores del decodificador gaussianas), los modelos de difusión (kernels de transición gaussianos) y los procesos gaussianos (distribuciones sobre funciones). Entender el álgebra gaussiana — condicionales, marginales y matrices de precisión — es seguramente la habilidad probabilística más útil en la práctica del ML.

Ejemplo trabajado — la regla 68/95/99.7: Para la normal estándar $Z \sim \mathcal{N}(0,1)$, $P(-1 \le Z \le 1) \approx 0.6827$, $P(-2 \le Z \le 2) \approx 0.9545$, y $P(-3 \le Z \le 3) \approx 0.9973$. Estos son los tres datos numéricos más útiles sobre cualquier gaussiana — los outliers más allá de $3\sigma$ ocurren cerca del 0.3% del tiempo.

Ejemplo trabajado — contorno de gaussiana 2D: Toma $\boldsymbol\mu = (0,0)$ y $\Sigma = \begin{pmatrix}4 & 0 \\ 0 & 1\end{pmatrix}$. La curva de nivel $(\mathbf{x} - \boldsymbol\mu)^\top \Sigma^{-1} (\mathbf{x} - \boldsymbol\mu) = 1$ se vuelve $x_1^2/4 + x_2^2 = 1$ — una elipse con semi-ejes 2 y 1 a lo largo de los ejes coordenados. Los autovectores de $\Sigma$ dan las direcciones principales; los autovalores $(4, 1)$ dan los cuadrados de las longitudes de los ejes.

Ejemplo trabajado — la transformación afín se mantiene gaussiana: Si $X \sim \mathcal{N}(2, 9)$ y $Y = 3X - 1$, entonces $Y \sim \mathcal{N}(3\cdot 2 - 1,\; 3^2 \cdot 9) = \mathcal{N}(5, 81)$. Así $Y$ tiene media 5 y desviación estándar 9 — forma cerrada, sin necesidad de integrar.