PCA: Perspectiva de Máxima Varianza

El análisis de componentes principales (PCA) es la técnica de reducción de dimensionalidad más usada y es el pago perfecto a todo lo aprendido en álgebra lineal. Dados datos $\mathbf{x}_1, \ldots, \mathbf{x}_N \in \mathbb{R}^D$, PCA busca una base ortonormal de direcciones (las componentes principales) tal que al proyectar sobre las primeras $k$ se capture la mayor varianza posible. El resultado: una representación compacta y descorrelacionada de datos en alta dimensión.

Formalmente, asume que los datos están centrados ($\bar{\mathbf{x}} = \mathbf{0}$) y forma la matriz de covarianza $S = \frac{1}{N} X^\top X \in \mathbb{R}^{D \times D}$. La primera componente principal $\mathbf{w}_1$ es el vector unitario que maximiza la varianza de la proyección: Por el cociente de Rayleigh, el máximo es $\lambda_1$ (el mayor autovalor de $S$), alcanzado en el autovector correspondiente. Las siguientes componentes son los autovectores restantes en orden decreciente de autovalor, cada uno ortogonal al anterior.

La belleza está en que los autovectores de la matriz de covarianza son exactamente las componentes principales, y los autovalores son justamente las varianzas capturadas. Calcular PCA se reduce a una eigendescomposición de $S$ — o equivalentemente, una SVD de $X$, que suele ser más estable numéricamente. La conexión: si $X = U \Sigma V^\top$, entonces las columnas de $V$ son las componentes principales y los valores singulares al cuadrado divididos por $N$ son las varianzas.

Los datos proyectados $\mathbf{z}_n = W_k^\top \mathbf{x}_n$ (donde $W_k$ apila los $k$ primeros autovectores) se llaman scores. Reconstruir da $\hat{\mathbf{x}}_n = W_k \mathbf{z}_n = W_k W_k^\top \mathbf{x}_n$ — otra proyección ortogonal, esta vez sobre el subespacio principal de orden $k$. El error de reconstrucción $\sum_n \|\mathbf{x}_n - \hat{\mathbf{x}}_n\|^2$ se minimiza; equivalentemente, PCA es la aproximación de rango $k$ de $X$ con menor norma de Frobenius (teorema de Eckart-Young).

PCA tiene dos derivaciones equivalentes — máxima varianza (la que acabamos de hacer) y mínimo error de reconstrucción. Son duales: maximizar la varianza retenida equivale a minimizar la varianza descartada. En la práctica, PCA se usa para visualización (primeras 2-3 componentes), compresión (retener 95% de la varianza), denoising (descartar componentes de autovalor pequeño), y como paso de preprocesamiento antes de clustering o regresión. Sus limitaciones — lineal, gaussiano, una sola escala — motivan kernel PCA, t-SNE, UMAP y autoencoders.

Ejemplo trabajado — primera PC de 4 puntos: Datos $\{(1,1), (2,2.1), (3,2.9), (4,4.1)\}$ tienen media $(\bar x, \bar y) = (2.5, 2.525)$. Desviaciones centradas: $(-1.5, -1.525), (-0.5, -0.425), (0.5, 0.375), (1.5, 1.575)$. La matriz de covarianza (dividiendo por $N=4$) es aproximadamente $S = \begin{pmatrix} 1.25 & 1.25 \\ 1.25 & 1.27 \end{pmatrix}$ — casi rango-1 con ambas filas iguales a $\sim(1.25, 1.26)$. El autovector principal es $\approx (1, 1)/\sqrt{2}$, la dirección diagonal, y $\lambda_1 \approx 2.51$, $\lambda_2 \approx 0.01$ — la primera PC captura $\sim 99.6\%$ de la varianza.