Nombra las cosas pensando en quien lee, no en quien escribe.
Nombra las cosas pensando en quien lee, no en quien escribe.
Fundamentos de Deep Learning
Modelos que ajustan perfectamente los datos de entrenamiento suelen fallar en producción. La causa es el sobreajuste. La regularización añade una *preferencia previa por modelos más simples*. Casi toda se construye con dos normas — L_1 y L_2.
La regularización añade , equilibrando ajuste y complejidad.
Sin regularización las redes memorizan ruido y muchos problemas de regresión se vuelven imposibles.
Modelos que ajustan perfectamente los datos de entrenamiento suelen fallar en producción. La causa es el sobreajuste. La regularización añade una *preferencia previa por modelos más simples*. Casi toda se construye con dos normas — y .
Añade un término de penalización: . Ridge usa ; Lasso usa ; Elastic Net mezcla ambos.
Ridge tiene solución cerrada: . El término garantiza invertibilidad incluso si es rango-deficiente. Lasso no tiene forma cerrada pero produce soluciones dispersas.
¿Por qué produce dispersión y no? La bola es lisa — contacto genérico. La bola tiene esquinas en los ejes — contornos casi siempre tocan en una esquina, donde algunas coordenadas son cero. La geometría fuerza la dispersión.
Bayesianamente, regularizar es un prior sobre los parámetros. ↔ prior gaussiano. ↔ prior de Laplace. MAP bajo estos priors da exactamente ridge y lasso.
Ejemplo trabajado — ridge encoge coeficientes: OLS da . Con , ridge da . Ambos encogidos.
Python (in browser)
Esperado: Ridge: ~20 non-zero; Lasso: ~5 non-zero (matches true sparsity)
Python runs entirely in your browser via Pyodide (~6 MB on first Run, cached after).
Ejemplo trabajado — umbral suave: . Con → . Con → .
Con 10,000 características y 100 muestras, L1 elige ~100 con peso no nulo. Estándar en genómica, clasificación de documentos y cualquier escenario de alta dimensión.
from sklearn.linear_model import LassoCV
model = LassoCV(cv=5).fit(X, y)
active = np.where(model.coef_ != 0)[0]GPT, BERT, ViT, LLaMA — todos entrenados con AdamW (weight decay desacoplado). Default desde 2018.
optim = torch.optim.AdamW(model.parameters(), lr=1e-4, weight_decay=0.01)Combina la dispersión de L1 con la estabilidad de L2. Robusto cuando las características están correlacionadas (casi siempre lo están).
Pon a prueba tu comprensión. Puntos por acierto + racha + velocidad.
3 preguntas rápidas. Acertá 2 para marcar esta lección como completada.