11 · Bernoulli: ensayo único sí/no
La distribución más simple del libro — un ensayo único con dos resultados y un parámetro. Todo clasificador binario se construye sobre esto.
La Bernoulli es la distribución más simple — un ensayo único con dos resultados, parámetro p.
Sin esto:
Sin ella, no puedes modelar el lanzamiento de una moneda, una etiqueta de clasificación binaria o un evento clic/no clic.
Una variable aleatoria de Bernoulli es la distribución más simple posible: un ensayo único con exactamente dos resultados — éxito (1) con probabilidad p, o fracaso (0) con probabilidad 1 − p.
Función de Masa de Probabilidad (PMF):
- P(X = 1) = p
- P(X = 0) = 1 − p
- Forma compacta: P(X = k) = p^k · (1 − p)^(1−k) para k ∈ {0, 1}
Media y varianza:
- E[X] = p (el promedio de ceros y unos de muchos ensayos es igual a la probabilidad de éxito)
- Var(X) = p(1 − p)
Varianza máxima en p = 0.5: La función de varianza p(1 − p) es una parábola cóncava hacia abajo con máximo en p = 0.5, donde Var(X) = 0.25. Este es el punto de máxima incertidumbre — cuando una moneda es perfectamente justa, sabes menos sobre cualquier lanzamiento individual. En p = 0 o p = 1 el resultado es cierto, por lo que la varianza colapsa a 0.
Conexión con la clasificación binaria: Cada ejemplo de clasificación binaria supervisada lleva una etiqueta y ∈ {0, 1}. Esa etiqueta es una extracción de una distribución Bernoulli(p), donde p = P(clase positiva | características). El trabajo del modelo es estimar p dadas las características. Por eso la regresión logística devuelve un valor en (0, 1) — está estimando el parámetro de Bernoulli.
Log-verosimilitud y entropía cruzada binaria: La verosimilitud de observar la etiqueta y dado la probabilidad del modelo p es: L(p ; y) = p^y · (1 − p)^(1−y)
Tomando el logaritmo: log L = y·log(p) + (1−y)·log(1−p)
Negando para convertir la maximización en minimización: −log L = −y·log(p) − (1−y)·log(1−p)
Esta es exactamente la pérdida de entropía cruzada binaria. La función de pérdida en la regresión logística ES la log-verosimilitud negativa de Bernoulli.
Python (in browser)
scipy.stats.bernoulli(p) devuelve un objeto de distribución. .mean() devuelve p, .var() devuelve p(1−p) y .rvs(n) extrae n muestras independientes. Con solo 10 muestras la media empírica es ruidosa — eso es de esperar.
Python runs entirely in your browser via Pyodide (~6 MB on first Run, cached after).
Python (in browser)
La curva de varianza Var(X) = p(1−p) alcanza su pico en p=0.5 (Var=0.25) y cae a cero en ambos extremos. Esta parábola es la imagen geométrica de la incertidumbre: una moneda justa es la más difícil de predecir; una completamente sesgada es trivial. Abre /tmp/bern_var.png para ver.
Python runs entirely in your browser via Pyodide (~6 MB on first Run, cached after).
Python (in browser)
Con 10 000 extracciones la media empírica converge a p=0.3 (varianza ≈ 0.21). rng.binomial(1, p, size=n) es la forma canónica de generar muestras Bernoulli con NumPy — es simplemente la Binomial con n=1.
Python runs entirely in your browser via Pyodide (~6 MB on first Run, cached after).
La entropía cruzada binaria no es arbitraria — surge directamente de la log-verosimilitud negativa de Bernoulli. Cuando llamas model.compile(loss='binary_crossentropy') estás pidiendo a la red que maximice la verosimilitud Bernoulli sobre las etiquetas de entrenamiento.
¿Cuál es Var(X) para una Bernoulli con p = 0.1?
Probabilidades discretas y continuas — el capítulo de MML que formaliza la PMF, define la esperanza y varianza desde los primeros principios y muestra cómo la Bernoulli es el bloque constructivo de toda distribución discreta más compleja.
- **PMF**: P(X=1) = p, P(X=0) = 1−p. **Media** = p, **Var** = p(1−p). Varianza máxima 0.25 en p=0.5.
- Las etiquetas de clasificación binaria son extracciones de Bernoulli. Estimar p dado las características es la tarea universal de clasificación binaria.
- **Entropía cruzada binaria = log-verosimilitud negativa de Bernoulli.** La pérdida no es arbitraria; se deriva directamente del modelo probabilístico.
La regresión logística y los clasificadores binarios devuelven una probabilidad Bernoulli; la pérdida ES la log-verosimilitud Bernoulli (entropía cruzada binaria).
Si lo quitas: No puedes escribir la función de pérdida para ningún modelo de clasificación binaria.