7 · Resumen de cinco números y correlación
Boxplots, covarianza, Pearson y Spearman — el toolkit para resumir relaciones y detectar multicolinealidad.
La correlación cuantifica la relación lineal entre dos variables — pero no dice nada sobre causalidad ni estructura no lineal.
Sin esto:
Sin matrices de correlación y boxplots, no puedes detectar data leakage ni multicolinealidad antes de que corrompan silenciosamente tu modelo.
Dos herramientas clásicas para explorar la distribución de una sola variable y la relación entre dos variables:
El resumen de cinco números condensa una distribución en cinco cuantiles clave:
- Mínimo — valor más pequeño
- Q1 (percentil 25) — límite del cuarto inferior
- Mediana (percentil 50) — el centro robusto
- Q3 (percentil 75) — límite del cuarto superior
- Máximo — valor más grande
Su compañero visual, el boxplot, dibuja una caja de Q1 a Q3 (el IQR), una línea en la mediana y "bigotes" que se extienden hasta los valores extremos no atípicos. Los puntos más allá de los bigotes se grafican individualmente como outliers.
Covarianza y correlación resumen la relación entre dos variables:
- Covarianza Cov(X, Y) = E[(X − μx)(Y − μy)]: positiva → las variables tienden a moverse juntas; negativa → una sube cuando la otra baja. La magnitud está en unidades mixtas (p.ej., kg·cm) y es difícil de interpretar directamente.
- Correlación de Pearson ρ = Cov(X, Y) / (σx · σy): normaliza la covarianza a [-1, 1]. Ahora es independiente de la escala e interpretable directamente: ρ = 1 es relación lineal positiva perfecta, ρ = 0 no hay relación lineal, ρ = -1 es negativa perfecta.
- Correlación de Spearman: Pearson aplicado a los rangos de los datos en lugar de los valores mismos. Captura relaciones monótonas (pero no necesariamente lineales) y es más robusta a outliers.
Python (in browser)
El boxplot codifica visualmente el resumen de cinco números. Los bigotes se extienden hasta Q3 + 1.5·IQR (superior) y Q1 − 1.5·IQR (inferior); los puntos más allá se grafican como marcadores individuales de outlier. Abre /tmp/box.png para ver.
Python runs entirely in your browser via Pyodide (~6 MB on first Run, cached after).
Python (in browser)
Covarianza y correlación de Pearson calculadas manualmente y verificadas con numpy. La fórmula manual ρ = Cov(X,Y)/(σxσy) coincide con np.corrcoef. Nota que la covarianza está en unidades mixtas (cm·kg) mientras que ρ es adimensional.
Python runs entirely in your browser via Pyodide (~6 MB on first Run, cached after).
Python (in browser)
Para y = x³ + ruido, el ρ de Spearman es mayor que el de Pearson porque la relación es perfectamente monótona pero no lineal. Spearman mide la correlación de rangos — si 'cuando X sube, Y tiende a subir' — independientemente de la forma funcional exacta.
Python runs entirely in your browser via Pyodide (~6 MB on first Run, cached after).
¿Cuál es el rango de la correlación de Pearson ρ?
Estadísticos Resumidos e Independencia — cubre covarianza, correlación y la afirmación formal de independencia (Cov(X,Y) = 0 ↔ incorrelacionadas, pero no necesariamente independientes). Léelo para la derivación de covarianza en forma matricial.
- El **resumen de cinco números** (mín, Q1, mediana, Q3, máx) y su forma visual el **boxplot** dan una instantánea robusta y con outliers visibles de cualquier distribución.
- **Pearson ρ ∈ [−1, 1]** mide asociación lineal. **Spearman ρ** mide asociación monótona y es más robusto. Siempre calcula ambos cuando no estás seguro de la forma de la relación.
- **Correlación ≠ causalidad.** Alta correlación entre una característica y el objetivo puede indicar poder predictivo *o* data leakage *o* un confundidor compartido. Investiga antes de desplegar.
Las matrices de correlación son el paso de mapa de calor en la ingeniería de características — las características multicolineales (ρ > 0.9 entre sí) añaden ruido sin información. Los boxplots revelan las distribuciones de características clase por clase durante el EDA, exponiendo la separación de clases de inmediato.
Si lo quitas: No puedes detectar data leakage (p.ej., una característica con ρ > 0.99 con el objetivo — probablemente es el objetivo mismo disfrazado) ni multicolinealidad que desestabiliza los coeficientes de regresión.