20 · Estimación puntual, intervalos de confianza y MLE
La Estimación de Máxima Verosimilitud te da el parámetro de mejor estimación; un intervalo de confianza te dice cuán incierta es esa estimación — ambos enraizados en el TCL.
Una estimación puntual es tu mejor suposición; un intervalo de confianza cuantifica la incertidumbre; el MLE es el principio detrás de ambos.
Sin esto:
Sin estimación, cada salida de modelo sería un número sin incertidumbre adjunta — inútil para decisiones.
La estimación puntual es el proceso de usar datos de muestra para producir un único valor — una estimación puntual — que sirve como mejor suposición de un parámetro poblacional desconocido.
Vocabulario clave:
- Parámetro (θ) — una propiedad fija pero desconocida de la población (p.ej. la verdadera media μ, o la verdadera proporción p).
- Estimador (θ̂) — una función de los datos de muestra que usamos para estimar θ. La media muestral X̄ es un estimador de μ.
- Estimación — el valor numérico específico de θ̂ para una muestra dada.
Propiedades de buenos estimadores:
- Insesgado: E[θ̂] = θ. El estimador es correcto en promedio. La media muestral es insesgada para μ; la varianza muestral con n−1 (no n) es insesgada para σ².
- Consistencia: A medida que n → ∞, θ̂ → θ en probabilidad. Más datos te acercan a la verdad.
- Eficiencia: Entre todos los estimadores insesgados, el que tiene menor varianza es el más eficiente.
Estimación de Máxima Verosimilitud (MLE): El MLE encuentra el valor del parámetro θ̂ que hace que los datos observados sean más probables. Si los datos x₁, …, xₙ son iid de f(x | θ), la log-verosimilitud es:
ℓ(θ) = Σᵢ log f(xᵢ | θ)
y θ̂_MLE = arg max_θ ℓ(θ).
Para la distribución Normal, al igualar ∂ℓ/∂μ = 0 se obtiene θ̂_MLE = x̄ — la media muestral.
Intervalos de confianza: Un intervalo de confianza del 95% para la media (cuando σ es conocida) es: x̄ ± 1.96 · σ/√n
Interpretación: si repitieras el experimento muchas veces y calcularas este intervalo cada vez, el 95% de esos intervalos contendría la verdadera μ. NO es "95% de probabilidad de que μ esté en este intervalo" — μ es fija, no aleatoria.
Cuando σ es desconocida, reemplaza σ con la desviación estándar muestral s y reemplaza z con el cuantil t (distribución t, tema de la próxima lección).
IC Bootstrap (sin modelo): Cuando no existe una fórmula cerrada, remuestrea de los datos con reemplazo muchas veces (10,000+), calcula el estadístico cada vez y toma los percentiles 2.5 y 97.5 como el IC del 95%.
Python (in browser)
El MLE para la media Normal es simplemente la media muestral — obtenida resolviendo ∂ℓ/∂μ = 0 analíticamente. scipy.stats.norm.fit devuelve los mismos valores MLE. Nota el pequeño sesgo negativo en el MLE σ̂ (ddof=0); usar ddof=1 lo corrige.
Python runs entirely in your browser via Pyodide (~6 MB on first Run, cached after).
Python (in browser)
El IC del 95% es x̄ ± 1.96·σ/√n. Ejecutar 1000 experimentos independientes y verificar si cada IC captura la verdadera μ = 50 confirma que la cobertura es efectivamente ≈ 95%. Este es el significado frecuentista de un intervalo de confianza.
Python runs entirely in your browser via Pyodide (~6 MB on first Run, cached after).
Python (in browser)
IC bootstrap: remuestrea los datos con reemplazo 10,000 veces, calcula la media cada vez, toma los percentiles 2.5 y 97.5. No se necesitan supuestos distribucionales — funciona para cualquier estadístico (media, mediana, AUC, F1, …).
Python runs entirely in your browser via Pyodide (~6 MB on first Run, cached after).
Maximizar la log-verosimilitud Normal respecto a μ da μ̂ = x̄ — la media muestral. Para σ², el MLE es la fórmula sesgada (1/n); la versión insesgada usa n−1. Esta derivación es el enlace algebraico entre mínimos cuadrados y el supuesto Gaussiano.
¿Qué significa 'estimador insesgado'?
La derivación del MLE y su conexión con la estimación MAP (MLE + prior = MAP) se trabajan en detalle en la lección 43 de MML. Entender el cálculo de la log-verosimilitud allí te permitirá derivar el MLE para cualquier distribución — no solo la Normal.
- **MLE:** encuentra θ que maximiza ℓ(θ) = Σ log f(xᵢ | θ). Para datos Normales, el MLE da μ̂ = x̄.
- **IC 95%:** x̄ ± 1.96·σ/√n. Interpretación de cobertura: el 95% de tales intervalos (en experimentos repetidos) contienen la verdadera μ.
- **IC Bootstrap:** remuestrea con reemplazo → calcula estadístico → toma percentiles 2.5 y 97.5. Funciona para cualquier estadístico.
Cada parámetro en cada modelo supervisado es un MLE (bajo residuos Gaussianos = mínimos cuadrados; bajo etiquetas Bernoulli = regresión logística). Los ICs bootstrap son cómo pones barras de error en F1, AUC, RMSE.
Si lo quitas: No puedes justificar por qué minimizar el MSE es la pérdida 'correcta' para la regresión lineal — es el MLE bajo residuos Gaussianos.