25 · Errores Tipo I y II y potencia
Cada prueba puede fallar de exactamente dos formas: rechazar cuando no deberías (Tipo I, α) o no detectar un efecto real (Tipo II, β). La potencia = 1 − β es lo que maximizas eligiendo n.
Dos formas en que una prueba puede estar equivocada: rechazar un nulo verdadero (Tipo I, α) o no rechazar un nulo falso (Tipo II, β). Potencia = 1 − β.
Sin esto:
Sin el marco de errores, no puedes dimensionar experimentos — o harás demasiadas pruebas o te perderás efectos reales.
Una prueba de hipótesis es una regla de decisión: dice "rechaza H₀" o "no rechaces H₀" según los datos. Como cualquier decisión, puede equivocarse de dos formas distintas:
| | H₀ es VERDADERA | H₀ es FALSA | |---|---|---| | Rechazar H₀ | Error Tipo I (falso positivo) — probabilidad = α | ¡Correcto! — probabilidad = potencia = 1 − β | | No rechazar H₀ | ¡Correcto! — probabilidad = 1 − α | Error Tipo II (falso negativo) — probabilidad = β |
Definiciones clave:
- α (nivel de significancia): La probabilidad de un error Tipo I — rechazar H₀ cuando es realmente verdadera. Eliges α antes de la prueba; valores típicos son 0.05 o 0.01.
- β: La probabilidad de un error Tipo II — no rechazar H₀ cuando H₁ es realmente verdadera.
- Potencia = 1 − β: La probabilidad de detectar correctamente un efecto real. Potencia ≥ 0.80 (80%) es el objetivo estándar.
¿Qué controla estos valores?
- Hacer α más pequeño (más conservador) → β aumenta (menos potencia), para n fija.
- Aumentar n → β disminuye (más potencia) sin cambiar α.
- Mayor tamaño del efecto Δ → β disminuye (más fácil detectar diferencias mayores).
- Datos más variables (σ mayor) → β aumenta (más difícil detectar efectos en el ruido).
La conexión con ROC: En un clasificador binario, la FPR (tasa de falsos positivos) = α y la TPR (tasa de verdaderos positivos = recall) = potencia. La curva ROC es literalmente una gráfica de potencia vs α conforme varies el umbral de decisión. El AUC resume el tradeoff en todos los umbrales.
Python (in browser)
La figura definitoria: H₀ (azul) y H₁ (verde) como campanas superpuestas. El área roja es error Tipo I — rechazar un H₀ verdadero. El área amarilla es error Tipo II — no detectar un H₁ verdadero. Mover el valor crítico a la izquierda reduce el Tipo I pero infla el Tipo II, y viceversa. La única forma de reducir ambos simultáneamente es aumentar n.
Python runs entirely in your browser via Pyodide (~6 MB on first Run, cached after).
Python (in browser)
Ejecutar 100,000 t-tests verifica ambas tasas de error empíricamente: bajo H₀ vemos ~5% de falsos positivos (por diseño), y bajo H₁ con un efecto medio (d=0.5, n=30) detectamos ~70% de los efectos verdaderos.
Python runs entirely in your browser via Pyodide (~6 MB on first Run, cached after).
Python (in browser)
La potencia sube de ~20% en n=10 a >99% en n=300. Para un efecto medio (d=0.5) con α=0.05 estándar, necesitas ~64 participantes por grupo para alcanzar 80% de potencia. Este es el cálculo de tamaño de muestra del que parte todo diseño experimental.
Python runs entirely in your browser via Pyodide (~6 MB on first Run, cached after).
El flujo de trabajo práctico de cálculo del tamaño de muestra usando statsmodels.
Un estudio reporta una potencia = 0.80. ¿Cuál es β (la tasa de error Tipo II)?
- **Tipo I (α):** rechazar un H₀ verdadero — falso positivo. **Tipo II (β):** no rechazar un H₀ falso — falso negativo. **Potencia = 1 − β.**
- α más pequeño → β mayor para n fija. Mayor n reduce ambos simultáneamente. Mayor tamaño del efecto → más fácil de detectar (β menor).
- En un clasificador: FPR = α, TPR = potencia. La curva ROC grafica potencia vs α en todos los umbrales. El AUC resume el tradeoff.
Los marcos ROC/AUC SON esto — TPR (potencia) vs FPR (α). Elegir un umbral de clasificación es un tradeoff Tipo I/II. Las pruebas múltiples inflan α; el FDR lo controla.
Si lo quitas: No puedes elegir un umbral de clasificador de forma defendible sin pensar explícitamente en tasas de error.