Independencia Lineal

Un conjunto de vectores $\{\mathbf{v}_1, \mathbf{v}_2, \dots, \mathbf{v}_k\}$ es linealmente independiente si la única forma de obtener el vector cero como $\lambda_1 \mathbf{v}_1 + \lambda_2 \mathbf{v}_2 + \dots + \lambda_k \mathbf{v}_k = \mathbf{0}$ es con todos los $\lambda_i = 0$. Si alguna combinación no trivial da cero, los vectores son linealmente dependientes y (al menos) uno es una combinación redundante de los demás.

La independencia es el enunciado matemático de la *no redundancia*. Intuitivamente, $k$ vectores independientes apuntan en *direcciones genuinamente distintas*, cada uno aportando una dimensión que los otros no pueden simular. Los vectores dependientes, en cambio, se solapan: uno de ellos puede expresarse usando los demás, así que quitarlo no pierde información.

Hay un test algorítmico limpio: forma la matriz $A$ cuyas columnas son los vectores $\mathbf{v}_i$. Los vectores son linealmente independientes si y solo si el sistema homogéneo $A\mathbf{x} = \mathbf{0}$ tiene solo la solución trivial $\mathbf{x} = \mathbf{0}$ — equivalentemente, si y solo si $A$ tiene rango columna completo, o (en el caso cuadrado) si y solo si $\det(A) \neq 0$. Siempre puedes correr eliminación gaussiana y contar pivotes: *número de pivotes = número de columnas independientes*.

Algunos hechos rápidos que aparecen seguido en problemas. Cualquier conjunto que contenga al vector cero es automáticamente dependiente. Cualquier conjunto con más vectores que la dimensión del espacio que los contiene es automáticamente dependiente: no puedes tener cinco vectores independientes en $\mathbb{R}^4$. Un solo vector no nulo siempre es independiente.

Ejemplo resuelto — par dependiente: Verifica si $\mathbf{v}_1 = (1, 2)$ y $\mathbf{v}_2 = (2, 4)$ son independientes. Resuelve $\lambda_1(1,2) + \lambda_2(2,4) = (0,0)$. De la primera coordenada, $\lambda_1 + 2\lambda_2 = 0$, así que $\lambda_1 = -2\lambda_2$. Tomando $\lambda_2 = 1, \lambda_1 = -2$ obtienes una combinación no trivial que suma cero — dependientes. En efecto, $\mathbf{v}_2 = 2\mathbf{v}_1$.

En ML, la independencia lineal de las características importa muchísimo. Si dos columnas de tu matriz de diseño $X$ son linealmente dependientes (por ejemplo, temperature_celsius y temperature_fahrenheit), entonces $X^\top X$ es singular y la solución ordinaria por mínimos cuadrados no es única — los pesos del modelo están mal definidos. Este es el problema detrás de la *multicolinealidad* en regresión, y también es la razón por la que la regularización (ridge, lasso) es tan necesaria en la práctica.