8 · Intercambio sesgo-varianza
Error esperado total = sesgo² + varianza + ruido irreducible — aprende a diagnosticar cada uno con curvas de aprendizaje.
Error esperado total = sesgo² + varianza + ruido irreducible — y ajustas la complejidad del modelo para equilibrar los dos primeros.
Sin esto:
Sin este marco, '¿qué modelo debo usar?' no tiene una respuesta fundamentada.
¿Por qué comete errores un modelo entrenado? Hay exactamente tres fuentes:
Sesgo (Bias) — error por suposiciones incorrectas incorporadas al modelo. Un modelo lineal que intenta ajustar una curva cúbica siempre estará equivocado, sin importar cuántos datos le des. El sesgo es el componente sistemático: el modelo está consistentemente fuera de rumbo en una dirección predecible. Sesgo alto = subajuste (underfitting).
Varianza (Variance) — error por la sensibilidad del modelo al conjunto de entrenamiento específico. Un modelo muy complejo (p. ej., un árbol de decisión sin límite de profundidad) memoriza las filas de entrenamiento — incluido su ruido. Cambia ligeramente el conjunto de entrenamiento y el modelo cambia drásticamente. Varianza alta = sobreajuste (overfitting).
Ruido irreducible — el piso que no puedes superar. Incluso si conocieras la función generadora de datos real, el ruido aleatorio en las mediciones significa que nunca puedes predecir perfectamente cada punto.
La descomposición
Para cualquier modelo y entrada x, el error cuadrático esperado se descompone como:
E[(y − ŷ)²] = Sesgo(ŷ)² + Var(ŷ) + σ²
Aumentar la complejidad del modelo reduce el sesgo pero aumenta la varianza. El punto óptimo está en el medio.
Diagnóstico con error de entrenamiento y test
| Síntoma | Causa | Solución | |---|---|---| | Error de train alto + error de test alto | Sesgo alto (underfitting) | Más variables, más capacidad del modelo | | Error de train bajo + error de test alto | Varianza alta (overfitting) | Más datos, regularización, modelo más simple | | Ambos moderados, brecha disminuye con datos | Sigue necesitando más datos | Seguir recopilando |
La curva de aprendizaje
Grafica el error de entrenamiento y test en función del tamaño del conjunto de entrenamiento. Convergencia al mismo error (alto) → problema de sesgo. Gran brecha que persiste incluso con más datos → problema de varianza.
Python (in browser)
Firma de sesgo alto: los errores de train y val convergen al MISMO plateau alto. Agregar más datos no ayuda — la forma del modelo (lineal) no puede representar la verdadera forma cuadrática.
Python runs entirely in your browser via Pyodide (~6 MB on first Run, cached after).
Python (in browser)
Firma de varianza alta: MSE de train casi cero pero una brecha persistente grande entre train y val. Más datos cierra gradualmente la brecha — pero la regularización (p. ej., limitar max_depth) es más rápida.
Python runs entirely in your browser via Pyodide (~6 MB on first Run, cached after).
Python (in browser)
La forma de U en la curva de validación es la firma visual del intercambio sesgo-varianza. El punto óptimo es el alpha donde el MSE de validación se minimiza.
Python runs entirely in your browser via Pyodide (~6 MB on first Run, cached after).
Imprime este diagrama de flujo y pégalo cerca de tu monitor. Cada conversación de 'mi modelo no funciona' comienza aquí.
Tu modelo tiene 1% de error en entrenamiento y 30% en test. El problema principal es:
- Sesgo: error sistemático de un modelo demasiado simple; varianza: error de sensibilidad de un modelo demasiado complejo.
- Firma de sesgo alto: errores de train y val ambos altos y cercanos entre sí. Firma de varianza alta: error de train cerca de 0, gran brecha persistente con el error de val.
- Más datos cura la varianza pero NO el sesgo — si el modelo es demasiado simple, más datos no ayudarán.
- La curva de validación (métrica vs hiperparámetro) muestra la forma de U clásica en el lado val — su mínimo es el punto óptimo.
Las curvas de aprendizaje son el gráfico de diagnóstico universal antes de elegir el siguiente paso. El sesgo-varianza es el marco conceptual para elegir entre modelos lineales (sesgo alto) y redes profundas / árboles potenciados (sesgo bajo, varianza controlada). La regularización es reducción de varianza.
Si lo quitas: Elegirías modelos solo por precisión y no tendrías un camino de recuperación cuando un modelo rinde mal.