Filogenia de Matrices

Demos un paso atrás y organicemos las descomposiciones que has conocido en una filogenia — un árbol genealógico de factorizaciones matriciales, cada una especializada en distintas clases de matrices. Las factorizaciones más generales se aplican al conjunto más amplio de matrices; las más especializadas explotan estructura extra para ganar velocidad o intuición.

En lo alto están LU ($A = LU$, requiere $A$ invertible tras permutaciones) y QR ($A = QR$, existe para cualquier $A$ rectangular). Son los caballos de batalla para resolver sistemas lineales y problemas de mínimos cuadrados. LU es barato pero numéricamente delicado; QR usa matrices ortogonales y es más estable, especialmente para matrices altas y delgadas.

Pasando a matrices cuadradas, la descomposición espectral ($A = PDP^{-1}$) existe para matrices diagonalizables. Para el subconjunto de matrices simétricas, se especializa a $A = QDQ^\top$ con $Q$ ortogonal (teorema espectral). Para el subconjunto aún más estrecho de matrices simétricas definidas positivas, obtenemos Cholesky ($A = LL^\top$) como factorización raíz cuadrada rápida.

Por encima de todo en generalidad está la SVD ($A = U\Sigma V^\top$), que funciona para toda matriz rectangular, cualquier rango y cualquier número de condición. Es más lenta que las descomposiciones especializadas pero universal. Por dentro, todas las demás descomposiciones se conectan con ella: QR es un paso intermedio, la descomposición espectral es la SVD cuando $A$ es simétrica, y Cholesky es una $LDL^\top$ especializada para matrices definidas positivas.

Ejemplo resuelto — diagrama de decisión: Necesitas resolver $A\mathbf{x} = \mathbf{b}$ para una matriz $A$ de $5000 \times 5000$. ¿Es $A$ SDP (p. ej. $X^\top X$ en regresión)? → Cholesky ($\approx 5000^3/3$ flops). Si no, ¿es $A$ cuadrada y bien condicionada? → LU con pivoteo parcial ($\approx 2\cdot 5000^3/3$ flops). Si no, ¿mínimos cuadrados o $A$ con déficit de rango? → QR o SVD. Elegir la descomposición adecuada a la estructura del problema puede reducir el cómputo en un factor de 2 a 10.

Ejemplo resuelto — coste SVD vs. descomposición espectral: Para una matriz simétrica $n \times n$, la descomposición espectral cuesta $O(n^3)$; la SVD sobre la misma matriz también cuesta $O(n^3)$ pero con una constante mayor (~2-3×). Regla práctica: usa descomposición espectral cuando sepas que la matriz es simétrica (covarianza para PCA, Laplaciano del grafo); usa SVD para matrices de datos rectangulares o cuando no te fíes de la simetría. Para una matriz $10^5 \times 10^5$, este factor constante son horas de cómputo.

Conexión con ML — los flujos normalizadores usan log|det J|: Los flujos normalizadores requieren determinantes de Jacobianos eficientes. Los diseños a menudo restringen el Jacobiano a ser triangular (así $\det J$ = producto de la diagonal) o a ser una composición de rotaciones + escalas diagonales (estilo Cholesky). Elegir la estructura de descomposición correcta para tu capa es una decisión de modelado que controla directamente la velocidad de entrenamiento.

Cuando resuelvas un problema de ML, elige la descomposición más específica que siga aplicando. Para las ecuaciones normales $X^\top X \mathbf{w} = X^\top \mathbf{y}$, usa Cholesky — es el doble de rápida que LU. Para mínimos cuadrados con datos mal condicionados, usa QR sobre $X$ directamente, evitando elevar al cuadrado el condicionamiento que provoca $X^\top X$. Para PCA, usa SVD sobre $X$ directamente para tener mejor numérica. Para problemas espectrales generales, usa descomposición espectral del operador simétrico relevante. Conocer la filogenia es saber cuándo usar qué herramienta.