Regla de la Suma, Regla del Producto, Teorema de Bayes

Tres reglas sustentan toda la probabilidad. La regla de la suma (o marginalización): $p(x) = \sum_y p(x, y)$ (o $\int p(x, y) \, dy$ en el caso continuo). Dada una distribución conjunta, recuperas una marginal sumando/integrando la otra variable. Así pasas del 'conocimiento total' al 'conocimiento solo de $X$'.

La regla del producto: $p(x, y) = p(x \mid y) p(y) = p(y \mid x) p(x)$. La probabilidad conjunta se factoriza como una condicional por una marginal en cualquiera de las dos direcciones. Encadenarla nos da la regla de la cadena de probabilidad: $p(x_1, x_2, \dots, x_n) = p(x_1) p(x_2 \mid x_1) p(x_3 \mid x_1, x_2) \cdots$, esencial para modelos autorregresivos como los modelos de lenguaje.

El teorema de Bayes es solo la regla del producto reordenada: $p(x \mid y) = \frac{p(y \mid x) p(x)}{p(y)}$. Invierte una condicional: si sabemos cómo siguen los efectos de las causas ($p(y \mid x)$), podemos razonar sobre las causas a partir de los efectos observados ($p(x \mid y)$). Las piezas tienen nombres estándar: $p(x)$ es el prior, $p(y \mid x)$ es la verosimilitud, $p(x \mid y)$ es la posterior, y $p(y) = \sum_x p(y \mid x) p(x)$ es la evidencia.

La regla de Bayes es el motor de la inferencia bayesiana: parte de una creencia previa sobre los parámetros $\theta$, observa datos $\mathcal{D}$, y actualiza a $p(\theta \mid \mathcal{D}) \propto p(\mathcal{D} \mid \theta) p(\theta)$. La evidencia en el denominador suele ser intratable, por eso los métodos aproximados — inferencia variacional, MCMC, aproximaciones de Laplace — son tan centrales en el ML probabilístico moderno.

Las aplicaciones van desde los filtros de spam clásicos (regla de Bayes combinando verosimilitudes de palabras y priors de clase) hasta el diagnóstico médico (problema de la regla del test: con un test 99% preciso y prevalencia del 1%, la probabilidad posterior de enfermedad dado un test positivo es solo cerca del 50%, una intuición que se yerra con frecuencia) hasta las redes neuronales bayesianas modernas y los modelos de difusión. Manejar estas tres reglas con fluidez es la base de todo razonamiento probabilístico.