9 · Evaluación de modelos no supervisados
¿Sin etiquetas? No hay problema — silueta para calidad del clustering, ARI cuando puedes contrastar, AUC-PR para modelos de anomalías y la estabilidad de clusters como prueba final de cordura.
Evaluación no supervisada: silueta + ARI cuando existe la verdad de base, AUC-PR para anomalías etiquetadas, comprobaciones de cordura siempre.
Sin esto:
Sin una evaluación adecuada no puedes saber si tu clustering o detector de anomalías está haciendo algo útil — enviarías un modelo roto sin saberlo.
El aprendizaje supervisado tiene un bucle de evaluación claro: dividir los datos en entrenamiento/prueba, entrenar en uno y evaluar en el otro. El aprendizaje no supervisado es más difícil de evaluar porque no hay etiquetas de verdad de base con qué comparar — al menos no de forma rutinaria.
Pero "sin etiquetas" no significa "sin evaluación." Tenemos tres estrategias complementarias:
1. Métricas internas — medidas de calidad que solo requieren los datos y las asignaciones de clusters, sin etiquetas externas.
- Puntuación de silueta (−1 a +1): mide cohesión vs separación. La mejor métrica interna de uso general.
- Índice de Davies-Bouldin (menor es mejor): razón de dispersión dentro del cluster a separación entre clusters.
- Índice de Calinski-Harabasz (mayor es mejor): razón de dispersión entre clusters a dentro del cluster.
2. Métricas externas — comparan las asignaciones de clusters con una referencia conocida (verdad de base). Solo se pueden usar cuando existen etiquetas (benchmarking, validación, comparación de modelos).
- Adjusted Rand Index (ARI) — mide el acuerdo entre dos asignaciones de etiquetas corregido por azar. Rango: −1 a 1; ≈0 = aleatorio; 1 = perfecto. Robusto a discrepancias en el número de clusters.
- Información Mutua Normalizada (NMI) — mide la información compartida entre asignaciones, normalizada a 0–1.
- Homogeneidad — cada cluster predicho contiene solo miembros de una única clase verdadera.
- Completitud — todos los miembros de una clase verdadera están en el mismo cluster predicho.
- V-measure — media armónica de homogeneidad y completitud.
3. Evaluación de anomalías — cuando tienes anomalías etiquetadas (registros de fraude, intrusiones detectadas), evalúa con el marco estándar de precisión-recall.
- Curva Precisión-Recall + Precisión Promedio (AP): como las anomalías son raras, la exactitud es inútil (99.9% de exactitud prediciendo siempre "normal"). AUC-PR es la métrica correcta.
- AUC-ROC es una verificación secundaria; prefiere AUC-PR para problemas con clases desbalanceadas.
4. Estabilidad de clusters — reajusta el modelo varias veces con diferentes semillas aleatorias y mide el ARI entre todos los pares de ejecuciones. ARI mediano por pares alto = estructura estable y reproducible. ARI bajo = el modelo está ajustando ruido.
Python (in browser)
Métricas externas en make_blobs(centers=4) con KMeans(n=4) — ARI, NMI, homogeneidad, completitud y V-measure todos cerca de 1.0, confirmando recuperación perfecta.
Python runs entirely in your browser via Pyodide (~6 MB on first Run, cached after).
Python (in browser)
ARI y V-measure con K mal especificado — ambos alcanzan su pico en el K verdadero=4 y degradan gradualmente en ambas direcciones.
Python runs entirely in your browser via Pyodide (~6 MB on first Run, cached after).
Python (in browser)
Curva Precisión-Recall para detección de anomalías — el área bajo la curva PR (Precisión Promedio) supera ampliamente la línea base aleatoria, confirmando que Isolation Forest prioriza las anomalías sobre los puntos normales.
Python runs entirely in your browser via Pyodide (~6 MB on first Run, cached after).
Python (in browser)
Estabilidad de clusters: 10 ejecuciones de KMeans con semillas distintas — el ARI por pares mide la reproducibilidad. Un ARI mediano alto confirma que la partición K=4 es estable y no un artefacto de la inicialización aleatoria.
Python runs entirely in your browser via Pyodide (~6 MB on first Run, cached after).
El checklist completo de evaluación no supervisada — métricas internas, externas, estabilidad, inspección visual y cordura de dominio tanto para clustering como para detección de anomalías.
¿Cuál es el rango aproximado del Índice de Rand Ajustado (ARI)?
- Las métricas internas (silueta, Davies-Bouldin, Calinski-Harabasz) evalúan la calidad del clustering sin necesidad de etiquetas.
- Las métricas externas (ARI, NMI, homogeneidad, completitud, V-measure) comparan predicciones con etiquetas de verdad de base — úsalas para benchmarking cuando existan etiquetas.
- ARI ≈ 0 significa acuerdo aleatorio; ARI = 1 significa perfecto; levemente negativo significa peor que aleatorio. Es robusto a discrepancias en el número de clusters.
- Para detección de anomalías con ejemplos etiquetados, usa AUC-PR (average_precision_score) — la exactitud es inútil para detección de anomalías con clases desbalanceadas.
- La estabilidad de clusters (ARI mediano por pares entre ajustes repetidos) es la verificación de cordura más segura cuando no hay etiquetas — estructura estable significa que el algoritmo no está ajustando ruido.
El monitoreo de ML en producción usa la detección de deriva de ARI para marcar cuando la estructura de clusters cambia con el tiempo (drift de datos); AUC-PR rastrea la degradación del modelo de anomalías en sistemas antifraude; las verificaciones de estabilidad filtran los redespliegues de modelos en pipelines de MLOps automatizados.
Si lo quitas: Enviarías modelos no supervisados sin ninguna señal de calidad — sin forma de saber si tu clustering es significativo o si tu detector de anomalías supera al aleatorio.