26 · Teorema de Bayes
El teorema de Bayes convierte 'P(prueba | enfermedad)' en 'P(enfermedad | prueba)' — la dirección que necesitan cada diagnóstico, clasificador y posterior de A/B test.
El teorema de Bayes convierte 'P(prueba | enfermedad)' en 'P(enfermedad | prueba)' — la dirección que necesita cada diagnóstico, clasificador y actualización científica.
Sin esto:
Sin él, no puedes actualizar creencias con evidencia — y casi toda inferencia de ML es una actualización bayesiana en algún nivel.
La probabilidad condicional nos da P(B | A) — la probabilidad de B dado que A ocurrió. ¿Pero qué si necesitamos P(A | B)? Ahí es donde entra el Teorema de Bayes.
Derivación de la regla del producto:
La regla del producto de la probabilidad dice P(A y B) = P(A) · P(B|A), y también P(A y B) = P(B) · P(A|B). Igualando y despejando P(A|B):
Teorema de Bayes: P(A | B) = P(B | A) · P(A) / P(B)
Terminología estándar:
- Prior P(A): Tu creencia sobre A antes de ver la evidencia B. En ML, esto es tu regularización o supuesto inicial del modelo.
- Verosimilitud P(B | A): Qué tan probable es la evidencia B si A fuera verdadera. Esto es tu modelo / proceso generativo.
- Evidencia (marginal) P(B): La probabilidad total de B en todos los escenarios. Actúa como constante de normalización.
- Posterior P(A | B): Tu creencia actualizada sobre A después de ver la evidencia B. Esto es lo que realmente quieres.
En resumen: posterior ∝ verosimilitud × prior.
La paradoja clásica — enfermedad rara, prueba precisa:
Una enfermedad afecta al 1% de la población. Una prueba para detectarla tiene 99% de sensibilidad (P(+ | enfermedad) = 0.99) y 95% de especificidad (P(− | sano) = 0.95). Das positivo. ¿Cuál es P(enfermedad | +)?
La mayoría intuitivamente dice ~99%. La respuesta correcta es alrededor del 17% — porque la enfermedad es tan rara que la mayoría de los tests positivos son falsos positivos. Este resultado contraintuitivo motiva cada concepto de esta lección.
Python (in browser)
Cálculo de Bayes paso a paso: con prevalencia del 1% y sensibilidad del 99%, un test positivo solo produce ~17% de probabilidad posterior de tener la enfermedad. El prior domina cuando la tasa base es baja. Un segundo test positivo la actualiza a ~78%.
Python runs entirely in your browser via Pyodide (~6 MB on first Run, cached after).
Python (in browser)
La distribución Beta como prior conjugado para el sesgo de una moneda. Cada lanzamiento es una actualización bayesiana: el posterior después del lanzamiento se convierte en el prior para el siguiente. Dos caras desplazan la distribución a la derecha (más probable que esté sesgada hacia cara); una cruz la empuja de vuelta hacia 0.5.
Python runs entirely in your browser via Pyodide (~6 MB on first Run, cached after).
Python (in browser)
La caja de Bayes traduce probabilidades a conteos — haciendo tangible el bajo PPV (~17%): 495 falsos positivos de la gran población sana superan a los 99 verdaderos positivos.
Python runs entirely in your browser via Pyodide (~6 MB on first Run, cached after).
Fórmula del clasificador Naive Bayes y patrón de implementación con sklearn.
MML §34 deriva las reglas de la suma y el producto y el teorema de Bayes desde primeros principios. También cubre el filtro de Bayes (la actualización bayesiana recursiva) que es el fundamento de los filtros de Kalman y los filtros de partículas usados en robótica y ML de series temporales.
Si la prevalencia de la enfermedad fuera 50% (no 1%), ¿cómo cambiaría el posterior P(enfermedad | test positivo) en comparación con el caso de prevalencia del 1%?
- **Teorema de Bayes:** P(A|B) = P(B|A)·P(A) / P(B). Posterior ∝ verosimilitud × prior.
- Con tasas base raras, incluso una prueba muy precisa produce cantidades sorprendentes de falsos positivos (la paradoja médica). Siempre calcula el PPV, no solo la sensibilidad.
- En ML: posterior = salida del modelo; verosimilitud = modelo; prior = regularización. L2 = prior gaussiano sobre los pesos; L1 = prior de Laplace.
Naive Bayes es uno de los clasificadores más simples y sigue siendo potente para texto (detección de spam). Las redes neuronales bayesianas, la regresión MCMC, la inferencia variacional y la optimización bayesiana se basan todas en la regla de Bayes.
Si lo quitas: No puedes justificar la regularización como un argumento de prior sobre los pesos, que es el enfoque más limpio para explicar por qué L2 previene el sobreajuste.