Probabilidades Discretas y Continuas

Las variables aleatorias vienen en dos sabores. Una variable aleatoria discreta toma valores en un conjunto finito o numerable (como $\{1, 2, 3, 4, 5, 6\}$ o $\mathbb{N}$) y se describe con una función de masa de probabilidad (PMF): $p(x) = P(X = x)$. Las funciones de masa cumplen $p(x) \geq 0$ y $\sum_x p(x) = 1$ — la probabilidad se distribuye en puntos discretos.

Una variable aleatoria continua toma valores en un conjunto no numerable como $\mathbb{R}$, y se describe con una función de densidad de probabilidad (PDF) $p(x)$ con $p(x) \geq 0$ y $\int p(x) \, dx = 1$. La probabilidad de cualquier punto individual es cero; las probabilidades con sentido provienen de intervalos: $P(a \leq X \leq b) = \int_a^b p(x) \, dx$.

Las densidades *no* son probabilidades — pueden ser mayores que 1 (una densidad alta y angosta integra a 1 sobre una región pequeña). Esto sorprende a la gente. La imagen mental correcta: una densidad es una tasa, probabilidad-por-unidad-de-$x$, y lo que importa es el área bajo ella en un intervalo. Las unidades también importan: si $x$ está en metros, $p(x)$ tiene unidades de 1/metro.

Ambos tipos comparten una función de distribución acumulada (CDF): $F(x) = P(X \leq x)$. Para variables discretas, la CDF es una escalera; para continuas, es una función creciente y suave. La CDF es universalmente útil porque siempre existe, siempre devuelve probabilidades verdaderas y se conecta limpiamente con cómputos basados en cuantiles (muestreo por CDF inversa, intervalos de confianza).

ML mezcla constantemente ambos. La clasificación produce una distribución discreta sobre etiquetas vía softmax. La regresión predice un $y$ continuo dado $\mathbf{x}$. Los tokens en un modelo de lenguaje son discretos pero los puntajes de atención son continuos. Dominar ambos paradigmas — y especialmente saber pensar en distribuciones *mixtas* o *estructuradas* como las de los modelos basados en energía — es esencial para construir y depurar sistemas probabilísticos modernos.

Ejemplo trabajado — PMF de Binomial(3, 0.5): Para $X \sim \text{Binomial}(3, 0.5)$, $p(k) = \binom{3}{k}(0.5)^3$ da $p(0) = 1/8$, $p(1) = 3/8$, $p(2) = 3/8$, $p(3) = 1/8$. Total: $1/8 + 3/8 + 3/8 + 1/8 = 1$. Estas son exactamente las probabilidades de 0, 1, 2, 3 caras en tres lanzamientos justos.

Conexión con ML — softmax como PMF: Dadas logits $(1, 2, 3)$, softmax devuelve $p_i = e^{z_i}/\sum_j e^{z_j}$ dando aproximadamente $(0.09, 0.24, 0.67)$, sumando $1$ y todas no negativas. Esto es precisamente una PMF sobre tres clases discretas — la razón por la que softmax es la salida canónica de clasificación.