Espacios de Probabilidad

Un espacio de probabilidad es un escenario matemático para razonar sobre la incertidumbre. Consta de tres ingredientes: un espacio muestral $\Omega$ (el conjunto de todos los resultados posibles), una colección $\mathcal{F}$ de eventos (subconjuntos de $\Omega$ a los que queremos asignar probabilidades) y una medida de probabilidad $P$ que asigna un número en $[0, 1]$ a cada evento. Juntos, $(\Omega, \mathcal{F}, P)$ axiomatizan la noción de azar.

La medida de probabilidad $P$ satisface tres axiomas de Kolmogorov: (1) $P(A) \geq 0$ para todo evento $A$, (2) $P(\Omega) = 1$ — algo tiene que ocurrir, y (3) aditividad numerable: para eventos disjuntos $A_1, A_2, \dots$, $P(\bigcup_i A_i) = \sum_i P(A_i)$. A partir de estos tres puedes derivarlo todo: complementos ($P(A^c) = 1 - P(A)$), uniones (inclusión–exclusión) y monotonicidad.

Una variable aleatoria es una función $X : \Omega \to \mathbb{R}$ que asigna un número a cada resultado. Nos permite traducir espacios muestrales enredados en números reales con los que sí podemos calcular. Lo crucial es que normalmente no nos importa $\Omega$ en sí — nos importa la distribución de $X$, $P(X \in A)$ para conjuntos $A \subseteq \mathbb{R}$. La distribución es el objeto práctico.

La independencia de eventos se define por $P(A \cap B) = P(A) P(B)$ — la probabilidad conjunta se factoriza. Conceptualmente, conocer $A$ no nos dice nada sobre $B$. Las variables aleatorias $X, Y$ son independientes si su distribución conjunta se factoriza como el producto de las marginales: $p(x, y) = p(x) p(y)$. La independencia es una hipótesis muy fuerte de la que dependen muchos modelos de ML (naive Bayes es el ejemplo extremo) — y violarla tiene consecuencias reales.

En ML, los espacios de probabilidad formalizan el proceso generador de datos. Imaginamos que cada ejemplo de entrenamiento $(\mathbf{x}_i, y_i)$ se obtiene independientemente de alguna distribución conjunta subyacente $p(\mathbf{x}, y)$. Nuestra meta es estimar probabilidades condicionales $p(y \mid \mathbf{x})$ a partir de una muestra finita. Todo algoritmo de aprendizaje — desde la regresión lineal hasta GPT — está estimando, implícita o explícitamente, algún objeto del espacio de probabilidad.