Gradientes de Funciones Vectoriales

Cuando $f : \mathbb{R}^n \to \mathbb{R}^m$ mapea vectores a vectores, el análogo del gradiente es una matriz llamada jacobiano, $J_f = \frac{\partial f}{\partial \mathbf{x}} \in \mathbb{R}^{m \times n}$. Su entrada $(i,j)$ es $\frac{\partial f_i}{\partial x_j}$ — la sensibilidad de la $i$-ésima componente de salida ante la $j$-ésima entrada. La fila $i$ es el gradiente de $f_i$ traspuesto.

El jacobiano es la mejor aproximación lineal de $f$ cerca de un punto: $f(\mathbf{x} + \Delta \mathbf{x}) \approx f(\mathbf{x}) + J_f(\mathbf{x}) \Delta \mathbf{x}$. Esto extiende la idea 1D $f(x + h) \approx f(x) + f'(x) h$ a dimensiones de entrada/salida arbitrarias. Es por eso que decimos que $f$ es 'localmente lineal' y por qué los métodos basados en gradientes funcionan — la función no lineal se comporta como una matriz en cada punto.

La regla de la cadena se generaliza elegantemente a jacobianos. Si $\mathbf{z} = f(\mathbf{y})$ y $\mathbf{y} = g(\mathbf{x})$, entonces $\frac{\partial \mathbf{z}}{\partial \mathbf{x}} = \frac{\partial \mathbf{z}}{\partial \mathbf{y}} \cdot \frac{\partial \mathbf{y}}{\partial \mathbf{x}} = J_f \cdot J_g$ — solo multiplica jacobianos en orden. Esta es la columna vertebral matemática de la retropropagación: cada capa aporta un factor jacobiano, y la regla de la cadena los une.

Para funciones lineales $f(\mathbf{x}) = A\mathbf{x} + \mathbf{b}$, el jacobiano es simplemente $A$ — la aproximación lineal es exacta. Para no linealidades elemento a elemento como $\sigma$ aplicada a un vector, el jacobiano es $\text{diag}(\sigma'(\mathbf{x}_1), \dots, \sigma'(\mathbf{x}_n))$. Estos dos casos, combinados vía regla de la cadena, te dan el jacobiano de cualquier red feedforward.

En ML, el jacobiano impulsa la retropropagación (encadenando jacobianos capa a capa), los ataques adversariales (linealizando un clasificador vía su jacobiano de entrada), los solucionadores de ODE neuronales (integrando jacobianos de flujo para invertibilidad) y los flujos normalizadores (rastreando $\log|\det J|$ para estimación de densidad). Trabajar cómodamente con jacobianos es el puente entre el cálculo escalar y el cálculo matricial que domina el aprendizaje profundo moderno.

Ejemplo resuelto — jacobiano de $f(x,y) = (xy,\; x+y,\; x^2)$: El mapa va de $\mathbb{R}^2 \to \mathbb{R}^3$, así que $J_f$ es $3\times 2$. Tomando parciales fila por fila: $J_f(x,y) = \begin{pmatrix}y & x \\ 1 & 1 \\ 2x & 0\end{pmatrix}$. En $(x,y) = (1,2)$ esto es $\begin{pmatrix}2 & 1 \\ 1 & 1 \\ 2 & 0\end{pmatrix}$ — las dimensiones cuadran ($m=3$ filas de salidas, $n=2$ columnas de entradas).