Aproximación de Matrices

Dada una matriz $A$ de rango $r$, la mejor aproximación de rango $k$ (para $k < r$) es la matriz $A_k$ que minimiza $\|A - A_k\|$ entre todas las matrices de rango $k$. La respuesta es un resultado célebre: el teorema de Eckart–Young dice que $A_k = \sum_{i=1}^k \sigma_i \mathbf{u}_i \mathbf{v}_i^\top$ — simplemente conserva los $k$ valores singulares más grandes y los vectores singulares correspondientes de la SVD completa.

Es óptima tanto bajo la norma de Frobenius $\|A - A_k\|_F = \sqrt{\sigma_{k+1}^2 + \dots + \sigma_r^2}$ como bajo la norma espectral $\|A - A_k\|_2 = \sigma_{k+1}$. El error de aproximación está controlado directamente por los valores singulares descartados — si son pequeños, has comprimido sin perder mucho, y si decaen rápido, puedes usar un $k$ pequeño de forma muy eficaz.

Es el teorema más útil en compresión de datos. Una matriz $m \times n$ requiere $mn$ números; su aproximación de rango $k$ solo requiere $k(m + n + 1)$ números (guarda $U_k$, $\Sigma_k$, $V_k$). Para imágenes, matrices de recomendación o matrices de pesos aprendidas, los valores singulares suelen decaer exponencialmente, así que $k \ll \min(m, n)$ da una compresión casi sin pérdidas.

El Análisis de Componentes Principales es la aplicación a datos. Dada una matriz de datos centrada $X \in \mathbb{R}^{n\times d}$, la aproximación SVD de rango $k$ da la mejor reconstrucción afín $k$-dimensional. Las componentes principales son los $k$ vectores singulares derechos más grandes; proyectar sobre ellos da la representación de baja dimensión.

Ejemplo resuelto — ahorros por compresión: Una matriz de imagen $1000 \times 1000$ requiere $10^6$ números. Una aproximación SVD de rango 10 solo requiere $10(1000 + 1000 + 1) \approx 20{,}000$ números — una compresión de 50×. Si los valores singulares decaen rápido (como en la mayoría de las imágenes naturales), la pérdida visual es mínima.

Ejemplo resuelto — conteo de parámetros de LoRA: Una capa de atención de un transformer con $d = 4096$ tiene una matriz de pesos $4096 \times 4096$: $\approx 16.7$M parámetros. Un update LoRA $UV^\top$ con rango $r = 8$: $U \in \mathbb{R}^{4096 \times 8}, V \in \mathbb{R}^{8 \times 4096}$, sumando $2 \cdot 4096 \cdot 8 \approx 65{,}000$ parámetros — 250× menos pesos entrenables, por eso LoRA hace barato el fine-tuning.

En el deep learning moderno, Low-Rank Adaptation (LoRA) congela una matriz de pesos preentrenada $W$ y aprende una actualización de bajo rango $W + UV^\top$ con $U, V$ delgadas. Es la misma parametrización de rango $k$, usada como estrategia de *fine-tuning barato*: millones de parámetros se vuelven miles, con pérdida mínima de calidad. La aproximación de matrices es la espina dorsal silenciosa de la IA eficiente.