Derivación de Funciones Univariadas

La derivada $f'(x)$ de una función $f : \mathbb{R} \to \mathbb{R}$ mide su tasa de cambio instantánea en $x$. Formalmente, $f'(x) = \lim_{h \to 0} \frac{f(x + h) - f(x)}{h}$. Geométricamente, es la pendiente de la recta tangente a la gráfica de $f$ en el punto $(x, f(x))$.

Una función es diferenciable en $x$ si este límite existe. La diferenciabilidad implica continuidad, pero no a la inversa — el valor absoluto $|x|$ es continuo en todas partes pero no es diferenciable en $0$, donde la gráfica tiene una esquina afilada. De forma más general, las funciones con quiebres, cúspides o tangentes verticales no son diferenciables en esos puntos.

Unas pocas reglas de derivación hacen casi todo el trabajo: $\frac{d}{dx}x^n = nx^{n-1}$ (regla de la potencia), $\frac{d}{dx} e^x = e^x$, $\frac{d}{dx} \ln x = 1/x$, $\frac{d}{dx} \sin x = \cos x$, $\frac{d}{dx} \cos x = -\sin x$. Combinadas con la linealidad $(af + bg)' = af' + bg'$, la regla del producto $(fg)' = f'g + fg'$, y la regla de la cadena $(f \circ g)'(x) = f'(g(x))\cdot g'(x)$, puedes derivar casi cualquier función elemental.

Las derivadas son cómo encontramos extremos: en un mínimo o máximo local de una función suave, $f'(x) = 0$. La segunda derivada $f''(x)$ nos dice la concavidad — positiva significa un mínimo local (curvando hacia arriba), negativa significa un máximo local (curvando hacia abajo). Este es el fundamento de la optimización.

En ML, la derivación univariada está en todas partes: calcular la derivada de una pérdida respecto a un único parámetro escalar, ajustar una tasa de aprendizaje analizando cómo se comporta una actualización escalar, entender funciones de activación como $\sigma(x)$ o ReLU vía sus (sub)derivadas. Antes de poder tomar gradientes de redes neuronales complejas, necesitamos comodidad sólida con las derivadas en 1D como bloque atómico de construcción.

Conexión ML — derivada de la sigmoide en cero: Como $\sigma(x) = 1/(1+e^{-x})$ y $\sigma'(x) = \sigma(x)(1-\sigma(x))$, en $x=0$ obtenemos $\sigma(0) = 0.5$ y $\sigma'(0) = 0.5\cdot 0.5 = 0.25$. Lejos de cero, digamos en $x = 5$, $\sigma(5) \approx 0.993$ así que $\sigma'(5) \approx 0.007$ — esta pendiente diminuta es exactamente el dolor del gradiente que se desvanece que motivó a ReLU.