Derivadas Parciales y Gradientes

Para una función $f : \mathbb{R}^n \to \mathbb{R}$ de varias variables, la derivada parcial $\frac{\partial f}{\partial x_i}$ es la tasa de cambio de $f$ cuando $x_i$ varía mientras todas las demás variables se mantienen fijas. Computacionalmente, derivas $f$ tratando todas las variables salvo $x_i$ como constantes.

El gradiente $\nabla f(\mathbf{x})$ empaqueta todas las derivadas parciales en un único vector: $\nabla f = \left(\frac{\partial f}{\partial x_1}, \dots, \frac{\partial f}{\partial x_n}\right)^\top$. El gradiente tiene una hermosa interpretación geométrica: apunta en la dirección de máximo ascenso, y su magnitud es la tasa de aumento en esa dirección. El gradiente negativo apunta hacia el descenso más pronunciado — por eso funciona el descenso por gradiente.

La derivada direccional en la dirección $\mathbf{u}$ (un vector unitario) es $D_{\mathbf{u}} f = \nabla f \cdot \mathbf{u}$ — la proyección del gradiente sobre $\mathbf{u}$. Esto nos permite leer dos hechos: la dirección del gradiente da la máxima tasa de aumento ($\|\nabla f\|$), y cualquier dirección perpendicular al gradiente da cambio instantáneo cero (te mueves a lo largo de un conjunto de nivel).

En un extremo interior suave, el gradiente se anula: $\nabla f(\mathbf{x}^*) = \mathbf{0}$. Estos puntos se llaman puntos críticos o puntos estacionarios y vienen en tres sabores: mínimos locales, máximos locales y puntos de silla (mínimo en algunas direcciones, máximo en otras). En los paisajes de aprendizaje profundo en alta dimensión, los puntos de silla son abrumadoramente más comunes que los mínimos locales, un hecho que reformula cómo pensamos la optimización.

En ML, cada paso de entrenamiento se basa en gradientes: calcula $\nabla_{\mathbf{w}} L(\mathbf{w})$, da un paso en su dirección negativa. Las variantes de esta idea — SGD, Adam, RMSprop — solo difieren en cómo eliminan ruido o reescalan adaptativamente el gradiente. Una intuición funcional sobre los gradientes es posiblemente la habilidad matemática más importante para un ingeniero de ML en activo.