Derivadas de Orden Superior

Tomar la derivada de una derivada da derivadas de orden superior. En 1D, $f''(x)$ mide la curvatura — qué tan rápido cambia la pendiente. Un $f''$ grande positivo significa que la función se curva fuertemente hacia arriba (un cuenco angosto), un $f''$ pequeño significa curvatura suave (un cuenco ancho), y un $f''$ negativo significa curvarse hacia abajo (una colina).

Para $f : \mathbb{R}^n \to \mathbb{R}$ multivariable, el objeto de segundo orden es la matriz hessiana $H_f \in \mathbb{R}^{n \times n}$ con entradas $H_{ij} = \frac{\partial^2 f}{\partial x_i \partial x_j}$. Para $f$ suficientemente suave, las parciales mixtas conmutan (teorema de Clairaut): $\frac{\partial^2 f}{\partial x_i \partial x_j} = \frac{\partial^2 f}{\partial x_j \partial x_i}$, así que el hessiano es simétrico.

El hessiano caracteriza puntos críticos. En un punto donde $\nabla f = \mathbf{0}$: si $H$ es definido positivo (todos los autovalores > 0), es un mínimo local; si es definido negativo, un máximo local; si es indefinido (signos mixtos), un punto de silla; si es singular, la prueba es no concluyente y necesitas análisis de orden superior. Los autovalores del hessiano dan las curvaturas a lo largo de los ejes principales de la forma cuadrática.

El número de condición del hessiano — la razón $\lambda_{\max} / \lambda_{\min}$ — gobierna qué tan difícil es el problema de optimización. Un número de condición alto significa que el paisaje de la pérdida tiene valles muy alargados: el descenso por gradiente zigzaguea porque no puede encontrar la dirección larga y angosta. Por esto exactamente el método de Newton $\mathbf{x}_{k+1} = \mathbf{x}_k - H^{-1}\nabla f$ converge más rápido: reescala por el hessiano inverso, haciendo que el paisaje efectivo sea isotrópico.

En ML, el hessiano impulsa la optimización de segundo orden (Newton, métodos cuasi-Newton como L-BFGS, descenso por gradiente natural), las aproximaciones de Laplace de posteriores bayesianos (aproxima un posterior por una gaussiana con covarianza $H^{-1}$), y la generalización basada en agudeza (mínimos planos con autovalores hessianos pequeños tienden a generalizar mejor que los agudos). Almacenar e invertir hessianos es costoso ($O(n^2)$ de almacenamiento, $O(n^3)$ de inversión), por eso la mayoría del aprendizaje profundo usa métodos de primer orden o aproximaciones estocásticas.

Ejemplo resuelto — clasificar el punto crítico de $f(x,y) = x^2 + xy + y^2$: El gradiente $\nabla f = (2x + y,\; x + 2y)$ se anula solo en $(0,0)$. El hessiano $H = \begin{pmatrix}2 & 1 \\ 1 & 2\end{pmatrix}$ tiene autovalores $\lambda = 1, 3$ (ambos positivos). Como $H$ es definido positivo, el origen es un mínimo local estricto, coincidiendo con el hecho de que $f$ es una forma cuadrática convexa.