Softmax y entropía cruzada

Cada clasificador en deep learning moderno termina con el mismo ritual de dos pasos: convertir puntajes en probabilidades con softmax, y medir la distancia a la etiqueta verdadera con entropía cruzada. Juntos forman la función de pérdida más usada del planeta — presente en cada clasificador de imágenes, cada transformer, cada cabeza de modelo de lenguaje. La combinación no es arbitraria; es el resultado principiado de ajustar una distribución categórica por máxima verosimilitud, y la matemática sale hermosa.

Dados logits crudos $\mathbf{z} = (z_1, \ldots, z_K) \in \mathbb{R}^K$, el softmax los mapea a un vector de probabilidades: Cada salida es positiva y suman uno. Dos intuiciones son esenciales. Primero, softmax es una aproximación suave de argmax — los logits grandes dominan, los empates se reparten. Segundo, solo importan las diferencias entre logits: sumar una constante a todos los $z_k$ no cambia nada. Esta invarianza es la base del truco log-sum-exp para estabilidad numérica.

La entropía cruzada mide cuán sorprendido está el modelo por la etiqueta verdadera. Para un objetivo one-hot $\mathbf{y}$ con $y_c = 1$, Es el log-probabilidad negativo que el modelo asigna a la respuesta correcta. Combinado con softmax, la pérdida se reduce a $\ell(\mathbf{z}, c) = -z_c + \log \sum_j e^{z_j}$ — la forma log-sum-exp, convexa y estable.

Y aquí la magia. El gradiente de softmax más entropía cruzada respecto a los logits es la fórmula más limpia del machine learning: Predicho menos verdadero. Eso es todo. Todo término cuadrático esperado al derivar el softmax se cancela contra la entropía cruzada. Por eso el par es universal: el backprop por esta última capa cuesta una resta por logit.

Desde teoría de la información, minimizar entropía cruzada equivale a minimizar la divergencia de Kullback-Leibler $\mathrm{KL}(p_{\text{datos}} \,\|\, p_{\text{modelo}})$. KL es no-negativa y cero solo cuando las distribuciones coinciden. Desde la óptica bayesiana, es máxima verosimilitud bajo un modelo de observación categórico. Tres puntos de vista, un mismo objetivo.

Ejemplo trabajado — softmax sobre tres logits: $\mathbf{z} = (2, 1, 0)$. Exponencia: $(7.389, 2.718, 1.000)$. Suma: $11.107$. Softmax: $(0.665, 0.245, 0.090)$. Resta el máximo por estabilidad y obtienes el mismo resultado.

Ejemplo trabajado — el gradiente es $\hat{\mathbf{y}} - \mathbf{y}$: Mismos logits, clase verdadera $c = 0$ con $\mathbf{y} = (1, 0, 0)$. Pérdida $\ell \approx 0.408$. Gradiente: $(-0.335, 0.245, 0.090)$. Negativo en la clase correcta, positivo en las incorrectas.