Máxima Verosimilitud como Proyección Ortogonal

Toda fórmula algebraica tiene una historia geométrica. Para la regresión lineal, esa historia es sorprendentemente elegante: mínimos cuadrados es proyección ortogonal. Los valores ajustados $\hat{\mathbf{y}} = X\hat{\boldsymbol\beta}$ son la proyección de $\mathbf{y}$ sobre el espacio columna de $X$ — el subespacio de $\mathbb{R}^N$ alcanzable mediante combinaciones lineales de las columnas de características.

El residual $\mathbf{r} = \mathbf{y} - \hat{\mathbf{y}}$ es ortogonal a cada columna de $X$: $X^\top \mathbf{r} = \mathbf{0}$. Esa es exactamente la ecuación normal $X^\top(\mathbf{y} - X\boldsymbol\beta) = \mathbf{0}$. Geométricamente, el punto más cercano a $\mathbf{y}$ dentro del espacio columna se halla bajando una perpendicular; algebraicamente, las ecuaciones normales imponen esa perpendicularidad. Las dos miradas son idénticas.

La matriz que realiza esta proyección tiene nombre: $P = X(X^\top X)^{-1} X^\top$ es la hat matrix (o matriz de proyección), porque $\hat{\mathbf{y}} = P\mathbf{y}$. Es simétrica ($P = P^\top$), idempotente ($P^2 = P$) y tiene autovalores $0$ o $1$ — sellos distintivos de una proyección. La matriz complementaria $I - P$ proyecta sobre el espacio residual, ortogonal a $\text{col}(X)$. Juntas descomponen $\mathbb{R}^N$ en subespacios de señal y residual.

La traza de $P$ es igual al rango de $X$, que vale $D$ para problemas de rango completo — este es el número efectivo de parámetros. La traza de $I - P$ es $N - D$, los grados de libertad para estimar el residual. El estimador insesgado de la varianza del ruido es $\hat\sigma^2 = \|\mathbf{r}\|^2 / (N - D)$, usando la dimensionalidad del espacio residual en lugar de $N$.

Esta mirada de proyección generaliza maravillosamente. La regresión Ridge corresponde a un encogimiento de las proyecciones a lo largo de direcciones de valores singulares pequeños. La regresión por kernel proyecta sobre un espacio de características de dimensión infinita pero calcula todo vía la matriz kernel. La Regresión por Componentes Principales primero proyecta sobre los componentes principales de mayor peso y después regresa. Cada vez que veas una solución cerrada de mínimos cuadrados, hay una proyección escondida detrás — y entender la geometría vuelve casi obvia el álgebra.