21 · Mecanismo de la prueba de hipótesis
Establece una nula, elige un estadístico de prueba, calcula la distribución nula, mide cuán sorprendentes son tus datos — el marco de seis pasos que impulsa cada A/B test.
Establece una nula, elige un estadístico de prueba, calcula su distribución bajo la nula, observa cuán 'sorprendentes' son tus datos observados — eso es la prueba de hipótesis.
Sin esto:
Sin el marco, el A/B testing es conjetura y 'significancia estadística' es jerga sin sentido.
La prueba de hipótesis es un marco formal para decidir si un patrón observado en los datos es real o simplemente ruido. La pregunta central: "¿Esta observación es compatible con el azar, o debemos actualizar nuestras creencias?"
El procedimiento de seis pasos:
-
Establece H₀ (hipótesis nula) y H₁ (alternativa). H₀ es el default "aburrido" — sin efecto, sin diferencia. H₁ es lo que intentas probar. Ejemplo: H₀: μ = 100 (puntuaciones IQ son promedio); H₁: μ > 100 (puntuaciones están por encima del promedio).
-
Elige el nivel de significancia α. Típicamente α = 0.05 (5%). Este es el máximo de tasa de falsos positivos que estás dispuesto a tolerar — la probabilidad de rechazar H₀ cuando realmente es verdadera.
-
Calcula el estadístico de prueba de los datos. El estadístico de prueba es un número que mide cuán lejos están los datos observados de lo que predice H₀. Para probar una media con σ conocida, el z-estadístico es: z = (x̄ − μ₀) / (σ/√n).
-
Deriva la distribución de ese estadístico BAJO H₀. Si H₀ es verdadera, z ~ N(0, 1) (por el TCL). Esto nos da la "distribución nula" — la referencia contra la que comparamos.
-
Calcula el p-value. El p-value es la probabilidad de observar un estadístico de prueba al menos tan extremo como el que obtuvimos, asumiendo que H₀ es verdadera. Para una prueba unilateral: p = P(Z ≥ z_observado | H₀). Para bilateral: p = 2 · P(Z ≥ |z_observado| | H₀).
-
Toma una decisión. Si p < α, rechaza H₀ ("estadísticamente significativo"). Si p ≥ α, no rechaza H₀ (no podemos descartar el azar — esto no es lo mismo que "H₀ es verdadera").
Unilateral vs bilateral:
- Unilateral cuando la alternativa es direccional: H₁: μ > μ₀ o H₁: μ < μ₀.
- Bilateral cuando cualquier desviación importa: H₁: μ ≠ μ₀. La bilateral es el default más seguro — usa la unilateral solo cuando la teoría predice fuertemente la dirección antes de ver los datos.
Python (in browser)
z = (105 − 100) / (15/√30) ≈ 1.826. El p-value unilateral ≈ 0.034 < 0.05 → rechaza H₀. Hay evidencia estadísticamente significativa de que la muestra proviene de una población con media por encima de 100.
Python runs entirely in your browser via Pyodide (~6 MB on first Run, cached after).
Python (in browser)
La simulación de Monte Carlo ilustra directamente la definición del p-value: bajo H₀, aproximadamente 3-4% de los experimentos producen un z-estadístico tan grande como el observado. Esta fracción empírica coincide con el p-value teórico de la CDF Normal.
Python runs entirely in your browser via Pyodide (~6 MB on first Run, cached after).
Las pruebas unilaterales tienen mayor potencia para detectar efectos en la dirección predicha, pero requieren una hipótesis direccional pre-comprometida. Las pruebas bilaterales (p × 2) son el default conservador y protegen contra detectar 'efectos' espurios en la dirección incorrecta.
¿Qué significa 'p < 0.05'?
- Seis pasos: (1) H₀ y H₁, (2) α, (3) estadístico de prueba, (4) distribución nula, (5) p-value, (6) rechaza si p < α.
- **p-value = P(datos tan extremos | H₀).** NO es la probabilidad de que H₀ sea verdadera.
- Usa bilateral por defecto a menos que una hipótesis direccional se haya pre-comprometido antes de la recolección de datos.
El A/B testing ES prueba de hipótesis. Comparar la exactitud de dos modelos requiere una prueba pareada. La selección de características frecuentemente usa pruebas por característica contra la nula 'sin efecto'.
Si lo quitas: No puedes responder formalmente '¿es el modelo B mejor que el modelo A en el conjunto de prueba, o tuvo suerte?'