Nombra las cosas pensando en quien lee, no en quien escribe.
Nombra las cosas pensando en quien lee, no en quien escribe.
Máquinas de Vectores de Soporte
Las Máquinas de Vectores de Soporte (SVM) resuelven la clasificación binaria encontrando el hiperplano de máximo margen que separa las dos clases. Dados datos etiquetados \{(mathbf{x}_n, y_n)\} con y_n in \{-1, +1\}, un hiperplano mathbf{w}^top mathbf{x} + b = 0 clasifica según el signo de mathbf{w}
SVM: clasificador de máximo margen, resolviendo un QP convexo para con margen .
Sin maximización del margen, sin la dispersión de vectores de soporte, no hay razón principiada para preferir un separador sobre otro — las cotas de generalización se desmoronan.
Las Máquinas de Vectores de Soporte (SVM) resuelven la clasificación binaria encontrando el hiperplano de máximo margen que separa las dos clases. Dados datos etiquetados con , un hiperplano clasifica según el signo de . Muchos hiperplanos pueden separar las clases, pero la SVM elige uno específico: aquel cuya distancia al punto más cercano de cualquier clase es la mayor.
El margen es la distancia del hiperplano al punto de datos más cercano. Para la restricción normalizada , el margen es . Maximizar el margen equivale a minimizar , dando la SVM de margen duro: Es un programa cuadrático convexo — se garantiza un único óptimo global.
Los datos reales rara vez son linealmente separables. La SVM de margen blando introduce variables de holgura para permitir violaciones: El hiperparámetro balancea tamaño del margen contra clasificaciones erróneas: grande margen estrecho, pocas violaciones; pequeño margen amplio, más violaciones permitidas.
El problema dual (obtenido vía dualidad lagrangiana del Capítulo 7) es donde las SVM realmente brillan: Aquí pasan dos cosas mágicas: los datos aparecen solo a través de productos internos (preparando el terreno para el truco del kernel), y la mayoría de los son cero en el óptimo.
Los puntos con son los vectores de soporte — están sobre (o dentro de) el margen y determinan la frontera de decisión. Los puntos no-soporte podrían eliminarse sin cambiar el clasificador. Esta dispersión es la propiedad insignia de la SVM: el clasificador es una suma ponderada sobre un subconjunto diminuto de puntos de entrenamiento, lo que permite predicción eficiente e interpretabilidad principiada. La holgura complementaria de las condiciones KKT impone esta estructura automáticamente.
Ejemplo resuelto — máximo margen calculado a mano: Tres puntos: con ; con . El separador más ancho es una línea vertical entre y — digamos . Normalizando: da para los tres puntos (los tres son vectores de soporte). Así y el ancho del margen es — el corredor va de a .
Python (in browser)
Esperado: w roughly along (1, 1); margin ≈ 2·√2 / ||w||
Python runs entirely in your browser via Pyodide (~6 MB on first Run, cached after).
Ejemplo resuelto — efecto de encoger $\mathbf{w}$: Si en cambio eliges (misma dirección, doblada), entonces — las restricciones se satisfacen con holgura, pero es peor que el logrado en . Reducirla a da margen funcional — restricciones violadas. El óptimo SVM es el único apenas lo suficientemente grande como para imponer margen y no más.
Sobre características TF-IDF, los SVM lineales siguen siendo estado del arte en muchas tareas de clasificación de texto — rápidos, interpretables, robustos a alta dimensión dispersa.
from sklearn.svm import LinearSVC
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.pipeline import make_pipeline
clf = make_pipeline(TfidfVectorizer(), LinearSVC(C=1.0))Ambas son pérdidas 'de margen máximo' en espacio embedding — acerca positivos y aleja negativos al menos un margen. Misma geometría hinge que los SVM.
Entrena un SVM que separa el origen de los datos en un espacio transformado. Lo que cae del 'lado del origen' se marca como anómalo.
Pon a prueba tu comprensión. Puntos por acierto + racha + velocidad.
3 preguntas rápidas. Acertá 2 para marcar esta lección como completada.