Linealización y Series de Taylor

Una serie de Taylor aproxima una función suave por un polinomio. Cerca de un punto $a$, la aproximación de orden $k$ es $f(x) \approx f(a) + f'(a)(x - a) + \frac{f''(a)}{2!}(x-a)^2 + \dots + \frac{f^{(k)}(a)}{k!}(x - a)^k$. La aproximación de primer orden es la recta tangente (linealización); la versión de segundo orden es una parábola tangente a la función en $a$.

Para $f : \mathbb{R}^n \to \mathbb{R}$ multivariable, el desarrollo de Taylor se vuelve $f(\mathbf{x}) \approx f(\mathbf{a}) + \nabla f(\mathbf{a})^\top (\mathbf{x} - \mathbf{a}) + \frac{1}{2} (\mathbf{x} - \mathbf{a})^\top H_f(\mathbf{a}) (\mathbf{x} - \mathbf{a})$. La linealización usa solo el gradiente; la aproximación cuadrática añade el término hessiano. Esta es la base de casi toda la teoría de optimización continua.

La calidad de la aproximación depende de qué tan lejos estás del punto base y qué tan no polinómica sea $f$. El término residual $R_k(x)$ típicamente decae como $|x - a|^{k+1}$ para funciones suaves, así que vecindades pequeñas admiten aproximaciones de orden bajo muy precisas. Para funciones suaves analíticas en una vecindad, la serie converge exactamente a $f$ — pero no toda función suave tiene esta propiedad (un famoso contraejemplo es $e^{-1/x^2}$, suave pero no analítica en 0).

La linealización es una idea recurrente en ML. El descenso por gradiente usa la aproximación de Taylor de primer orden para proponer un paso. El método de Newton usa la aproximación de segundo orden y salta directamente al mínimo del modelo cuadrático local. El gradiente natural usa una corrección riemanniana basada en la métrica de Fisher. Los métodos de región de confianza usan modelos cuadráticos pero restringen el tamaño del paso a donde el modelo es confiable.

Más allá de la optimización, las series de Taylor potencian las aproximaciones de Laplace (aproximar un posterior por su desarrollo de segundo orden alrededor de la moda), los filtros de Kalman extendidos (linealizar dinámicas no lineales en cada paso), y solucionadores numéricos para ODEs y PDEs. Incluso aproximar funciones de activación por polinomios de bajo grado para inferencia compatible con cifrado homomórfico es una maniobra de serie de Taylor. Es la herramienta universal de 'acércate y finge que las cosas son simples'.

Ejemplo resuelto — serie de Taylor de $\cos(x)$ alrededor de 0 hasta orden 4: $\cos(x) \approx 1 - \frac{x^2}{2} + \frac{x^4}{24}$. En $x = 0.1$ esto da $1 - 0.005 + 0.0000042 \approx 0.9950042$, mientras que el valor real es $\cos(0.1) \approx 0.9950042$ — indistinguible a seis decimales. El error de aproximación se reduce como $|x|^6/720$, que es alrededor de $10^{-9}$ en $x = 0.1$.