Estadísticos Resumen e Independencia

Las distribuciones son objetos de alta dimensión, pero a menudo las comprimimos en unos pocos estadísticos resumen. El valor esperado (media) $\mathbb{E}[X] = \sum_x x\, p(x)$ (o $\int x\, p(x)\, dx$) da el promedio a largo plazo. La esperanza es lineal: $\mathbb{E}[aX + bY + c] = a\mathbb{E}[X] + b\mathbb{E}[Y] + c$ — sin requerir independencia. Esta linealidad es la identidad más usada del ML probabilístico.

La varianza $\text{Var}[X] = \mathbb{E}[(X - \mathbb{E}[X])^2]$ mide la dispersión alrededor de la media. Su raíz cuadrada $\sigma = \sqrt{\text{Var}[X]}$ es la desviación estándar, en las mismas unidades que $X$. La varianza no es lineal pero cumple $\text{Var}[aX + b] = a^2 \text{Var}[X]$ — las constantes desplazan la media pero no la dispersión.

Para dos variables aleatorias, la covarianza $\text{Cov}[X, Y] = \mathbb{E}[(X - \mathbb{E} X)(Y - \mathbb{E} Y)]$ mide la covariación lineal. Positiva significa que tienden a moverse juntas; negativa, en sentidos opuestos; cero, sin relación lineal. La versión normalizada es la correlación $\rho = \text{Cov}[X, Y] / (\sigma_X \sigma_Y) \in [-1, 1]$.

Para varias variables aleatorias agrupadas en un vector $\mathbf{X}$, la matriz de covarianza $\Sigma$ tiene entradas $\Sigma_{ij} = \text{Cov}[X_i, X_j]$. Las entradas diagonales son varianzas; las fuera de la diagonal, covarianzas. Las matrices de covarianza siempre son simétricas semidefinidas positivas — un hecho explotado por PCA, los procesos gaussianos y los métodos variacionales.

La independencia implica covarianza cero, pero no al revés: correlación cero no implica independencia. Dos variables pueden ser perfectamente dependientes con correlación cero (p. ej., $Y = X^2$ con $X \sim \mathcal{N}(0, 1)$). Esta es una fuente constante de bugs: si tu modelo asume independencia basándose en correlación cero, podrías perder relaciones no lineales cruciales. En ML solemos verificar con información mutua u otras medidas no lineales cuando la independencia es una suposición crítica.