Gradientes de Matrices

En ML, las funciones de pérdida a menudo dependen de matrices completas de parámetros (piensa en matrices de pesos en una capa de red neuronal). El gradiente respecto a una matriz es solo otra matriz: $\frac{\partial L}{\partial W} \in \mathbb{R}^{m \times n}$ tiene la misma forma que $W$, con la entrada $(i,j)$ dando $\frac{\partial L}{\partial w_{ij}}$.

Las identidades del cálculo matricial agilizan las derivaciones. Las más usadas: $\nabla_{\mathbf{x}}(\mathbf{a}^\top \mathbf{x}) = \mathbf{a}$, $\nabla_{\mathbf{x}}(\mathbf{x}^\top A \mathbf{x}) = (A + A^\top)\mathbf{x}$ (y $= 2A\mathbf{x}$ cuando $A$ es simétrica), $\nabla_W(\|X - WY\|_F^2) = -2(X - WY)Y^\top$, y $\nabla_W(\text{tr}(W^\top A)) = A$. Estas nos permiten derivar pérdidas comunes de ML rápidamente sin expandir índice por índice.

Usando estas identidades, podemos rederivar las ecuaciones normales. Para $L(\mathbf{w}) = \|\mathbf{y} - X\mathbf{w}\|^2$, expandiendo da $L = \mathbf{y}^\top \mathbf{y} - 2\mathbf{w}^\top X^\top \mathbf{y} + \mathbf{w}^\top X^\top X \mathbf{w}$. Aplicando las identidades: $\nabla_{\mathbf{w}} L = -2X^\top \mathbf{y} + 2X^\top X \mathbf{w}$. Igualando esto a cero se obtiene $X^\top X \mathbf{w} = X^\top \mathbf{y}$ — las ecuaciones normales, alcanzadas sin un solo cálculo de índices.

El layout denominador (también llamado 'layout de gradiente') coincide con la forma de $W$ — la convención que usan la mayoría de los textos de ML y bibliotecas de auto-diff. Un layout numerador alternativo traspone. Sé consistente, elige uno, y nota que PyTorch/JAX usan el layout denominador por defecto (el gradiente de una pérdida tiene la misma forma que el parámetro).

Entrenar una red neuronal es un largo cálculo de gradiente matricial. Una sola capa totalmente conectada $\mathbf{h} = \sigma(W\mathbf{x} + \mathbf{b})$ tiene $\nabla_W L = \delta \mathbf{x}^\top$ donde $\delta$ es el gradiente entrante después de pasar por $\sigma'$. Esta estructura de producto externo es general: el gradiente de una matriz que aparece en una capa lineal-más-no-lineal es siempre un producto externo del error descendente y la activación entrante. Este es el átomo de las matemáticas de gradientes en aprendizaje profundo.

Ejemplo resuelto — verificar $\nabla_{\mathbf{x}}(\mathbf{x}^\top A\mathbf{x}) = (A + A^\top)\mathbf{x}$: Toma $A = \begin{pmatrix}1 & 2 \\ 0 & 3\end{pmatrix}$ y $\mathbf{x} = (1, 1)^\top$. Expande $\mathbf{x}^\top A \mathbf{x} = x_1^2 + 2x_1 x_2 + 3x_2^2$, dando gradiente $(2x_1 + 2x_2,\; 2x_1 + 6x_2) = (4, 8)$ en $\mathbf{x}=(1,1)$. Alternativamente, $A + A^\top = \begin{pmatrix}2 & 2 \\ 2 & 6\end{pmatrix}$, así que $(A+A^\top)\mathbf{x} = (4,8)$ — la identidad se confirma.