PCA en la Práctica

Correr PCA sobre datos reales requiere un puñado de pasos prácticos que los textos a veces saltan. Primero, centra los datos restando la media: $\tilde{\mathbf{x}}_n = \mathbf{x}_n - \bar{\mathbf{x}}$. Sin centrar, la primera 'componente principal' simplemente apuntará hacia la media, no hacia la dirección de variación real. Segundo, normalmente estandariza (divide cada característica por su desviación estándar) cuando las features viven en escalas distintas — de lo contrario PCA queda dominada por la que tenga mayor rango.

¿Cuántas componentes conservar? El scree plot muestra los autovalores en orden decreciente. Busca un 'codo' donde los autovalores se aplanan — las componentes más allá del codo son mayormente ruido. Una alternativa más principiada es la varianza explicada acumulada: elige $k$ tal que $\sum_{i=1}^{k} \lambda_i / \sum_j \lambda_j \geq 0.95$ (o el umbral que la tarea aguas abajo requiera). Para fines puramente de visualización, $k = 2$ o $3$ es fijo por necesidad.

Computacionalmente, evita formar $S = X^\top X$ explícitamente cuando $D$ es grande — es $D \times D$ y puede no caber en memoria. En su lugar, usa la SVD de $X$ directamente: $X = U \Sigma V^\top$, donde las columnas de $V$ son las componentes principales y $\Sigma^2 / N$ son los autovalores de $S$. Para datasets enormes, la SVD aleatorizada (Halko et al.) calcula las primeras $k$ componentes en tiempo $O(NDk)$ — órdenes de magnitud más rápido que la SVD completa.

PCA tiene limitaciones importantes. Es lineal — no captura variedades curvas (usa kernel PCA, Isomap, UMAP o autoencoders para eso). Asume que varianza = señal, lo que falla cuando el ruido tiene varianza grande (considera ICA en su lugar). No es invariante de escala — estandariza con cuidado. Y es un método con pérdida y no supervisado; las componentes descartadas pueden contener exactamente las features que tu tarea aguas abajo necesita. Valida siempre las decisiones de PCA contra la métrica final, no solo contra la varianza explicada.

A pesar de estas advertencias, PCA es la primera herramienta a probar para cualquier dataset de alta dimensión. Aplicaciones canónicas: reconocimiento facial (eigenfaces), finanzas (portafolios principales / factores de riesgo), genómica (estructura poblacional), NLP (el análisis semántico latente es PCA sobre matrices palabra-documento), compresión de imágenes (la DCT de JPEG es prima de PCA). La lección de machine learning va más allá del algoritmo: las matrices de covarianza codifican estructura, y la eigendescomposición la revela.

Ejemplo trabajado — error de reconstrucción rango-1: Una imagen $2\times 2$ $X = \begin{pmatrix} 2 & 2 \\ 2 & 2 \end{pmatrix}$ tiene SVD con $\Sigma = \text{diag}(4, 0)$, así que la aproximación de rango 1 es exacta — error de reconstrucción cero. Si perturbamos a $X = \begin{pmatrix} 2 & 2 \\ 2 & 3 \end{pmatrix}$: los valores singulares son $\sigma_1 \approx 4.56$, $\sigma_2 \approx 0.44$. Conservar solo $\sigma_1$ da error de Frobenius $\sigma_2 = 0.44$, mientras la 'energía' total es $\sqrt{\sigma_1^2 + \sigma_2^2} \approx 4.58$ — la componente principal explica $\sigma_1^2/(\sigma_1^2 + \sigma_2^2) \approx 99.1\%$ de la varianza.

Ejemplo trabajado — eligiendo $k$ para 95% de varianza: Autovalores $[10, 6, 2, 1, 1]$, total $20$. Ratios acumulados: $k=1 \to 0.5$; $k=2 \to 0.8$; $k=3 \to 0.9$; $k=4 \to 0.95$. Así que $k=4$ es el menor número de componentes para retener el 95% de la varianza. El scree plot mostraría un codo claro después de la segunda componente — una decisión de criterio entre compresión agresiva ($k=2$, 80%) y preservación conservadora ($k=4$, 95%).