Optimización con Restricciones y Multiplicadores de Lagrange

Los problemas reales de optimización suelen venir con restricciones: minimizar $f(\mathbf{x})$ sujeto a $g_i(\mathbf{x}) = 0$ (igualdad) o $h_j(\mathbf{x}) \leq 0$ (desigualdad). Las restricciones limitan la región factible, y el óptimo sin restricciones puede caer fuera de ella. El mínimo en el conjunto factible puede estar donde sea — interior, en la frontera de una restricción o en la intersección de varias.

Para restricciones de igualdad $g(\mathbf{x}) = 0$, la técnica de los multiplicadores de Lagrange reduce el problema con restricciones a uno sin restricciones. Forma el lagrangiano $\mathcal{L}(\mathbf{x}, \lambda) = f(\mathbf{x}) + \lambda\, g(\mathbf{x})$ y busca puntos estacionarios: $\nabla_{\mathbf{x}} \mathcal{L} = \nabla f + \lambda \nabla g = \mathbf{0}$ y $g(\mathbf{x}) = 0$. Geométricamente, en el óptimo $\nabla f$ es paralelo a $\nabla g$ — no puedes reducir $f$ sin violar la restricción.

Para restricciones de desigualdad $h(\mathbf{x}) \leq 0$, obtenemos las condiciones de Karush–Kuhn–Tucker (KKT): estacionariedad $\nabla f + \sum \mu_j \nabla h_j = \mathbf{0}$, factibilidad primal $h_j \leq 0$, factibilidad dual $\mu_j \geq 0$, y holgura complementaria $\mu_j h_j = 0$ (cada restricción está activa ($h_j = 0$) o tiene multiplicador cero). Los multiplicadores se interpretan como 'precios sombra' — la tasa de cambio del valor óptimo al relajar la restricción.

Todo problema con restricciones tiene un problema dual: $\max_{\lambda, \mu \geq 0} \min_{\mathbf{x}} \mathcal{L}(\mathbf{x}, \lambda, \mu)$. La dualidad débil se cumple siempre: el objetivo dual es cota inferior del primal. La dualidad fuerte — igualdad entre los óptimos primal y dual — se cumple para problemas convexos bajo condiciones suaves. El dual suele ser más fácil de resolver y expone estructura hermosa en muchos problemas (las SVMs son el ejemplo de manual).

En ML, la optimización con restricciones está por todas partes. Las SVMs resuelven un programa cuadrático con restricciones de margen, y su dual es donde aparece el truco del kernel. Los métodos de región de confianza usan restricciones de desigualdad sobre el tamaño del paso. Los métodos proximales y ADMM resuelven variantes con restricciones de pérdidas comunes. Incluso el aprendizaje consciente de la equidad y el RL seguro plantean los requisitos como restricciones. Saber lagrangianos es saber razonar sobre 'lo que quiero, sujeto a lo que debo'.

Ejemplo trabajado — desigualdad vía KKT: Minimizar $f(x) = (x-3)^2$ sujeto a $x \le 2$. Sin la restricción el óptimo es $x^* = 3$, pero es infactible. KKT: estacionariedad $2(x-3) + \mu = 0$, factibilidad $x \le 2$, holgura $\mu(x-2) = 0$. Fija $x = 2$ (restricción activa), dando $\mu = 2$. El precio sombra $\mu = 2$ dice que relajar la cota en $\Delta$ mejora el objetivo en $\approx 2\Delta$.