Descomposición de Cholesky

La descomposición de Cholesky factoriza una matriz simétrica definida positiva (SDP) $A$ como $A = LL^\top$, donde $L$ es triangular inferior con entradas diagonales positivas. Es esencialmente la 'raíz cuadrada' de una matriz SDP — análogo a escribir un número positivo como $x = (\sqrt{x})^2$.

Una matriz es definida positiva si $\mathbf{x}^\top A \mathbf{x} > 0$ para todo $\mathbf{x}$ no nulo. Equivalentemente, todos los autovalores son estrictamente positivos. Las matrices SDP están por todas partes: matrices de covarianza, matrices de Gram $X^\top X$ (cuando $X$ tiene rango completo de columnas) y Hessianos en mínimos estrictos son todas SDP. Cholesky es la factorización más rápida y numéricamente estable disponible para esta clase.

El algoritmo es eliminación gaussiana especializada que aprovecha la simetría. Para cada fila $i$, calcula la entrada diagonal $\ell_{ii} = \sqrt{a_{ii} - \sum_{k<i}\ell_{ik}^2}$ y las entradas subdiagonales con fórmulas similares. El proceso falla sii algún elemento diagonal se vuelve no positivo — una prueba limpia de definida positiva: una matriz es SDP sii Cholesky tiene éxito sin raíces cuadradas complejas.

Cholesky resuelve $A\mathbf{x} = \mathbf{b}$ en dos pasos triangulares: primero $L\mathbf{y} = \mathbf{b}$ (sustitución hacia adelante), luego $L^\top \mathbf{x} = \mathbf{y}$ (sustitución hacia atrás). Cada paso cuesta $O(n^2)$; la propia descomposición es $O(n^3/3)$, la mitad del coste de LU. Por eso Cholesky es la opción por defecto al resolver las ecuaciones normales para regresión lineal (porque $X^\top X$ es SDP).

Más allá de resolver, Cholesky tiene usos distintivos en ML. En métodos bayesianos y procesos gaussianos nos permite muestrear de gaussianas multivariadas: si $\mathbf{z} \sim \mathcal{N}(\mathbf{0}, I)$ y $A = LL^\top$, entonces $L\mathbf{z} \sim \mathcal{N}(\mathbf{0}, A)$ — una sola multiplicación matriz-vector genera muestras correlacionadas. También calcula logaritmos de determinantes baratos: $\log\det(A) = 2\sum_i \log \ell_{ii}$, necesarios en verosimilitudes y cotas inferiores variacionales.