Máquinas de Vectores de Soporte

Una máquina de vectores de soporte (Support Vector Machine, SVM) es un algoritmo de aprendizaje supervisado que separa dos clases buscando el hiperplano de máximo margen: la frontera de decisión que deja la mayor distancia posible respecto a los ejemplos más cercanos de cada clase. Esa distancia, el margen, es la apuesta central del método; cuanto más ancho, más robusta tiende a ser la clasificación de datos nuevos.

Dos publicaciones primarias sitúan la formulación moderna en los años noventa: Boser, Guyon y Vapnik presentaron en 1992 un algoritmo de entrenamiento para clasificadores de margen óptimo, y Cortes y Vapnik publicaron en 1995 «Support-Vector Networks». La SVM se emplea para clasificación y también tiene una formulación para regresión.

El hiperplano de máximo margen y los vectores de soporte

Entre las infinitas fronteras que podrían separar dos clases, la SVM elige una sola: la que maximiza el margen. Al resolver ese problema de optimización, la mayoría de los ejemplos resultan irrelevantes. La frontera queda determinada por completo por un puñado de puntos, los que caen justo al borde del margen: son los vectores de soporte. Si se moviera cualquier otro punto lejano, la solución no cambiaría; si se mueve un vector de soporte, la frontera se reajusta. Esta economía —decidir con los casos límite y no con la masa de datos— es lo que da nombre al método y explica su elegancia.

Margen blando y el parámetro C

Los datos reales rara vez se separan sin errores. En 1995, Corinna Cortes y Vapnik publicaron en la revista Machine Learning el artículo «Support-Vector Networks», que introdujo el margen blando (soft margin): la frontera puede tolerar que algunos ejemplos caigan en el lado equivocado o dentro del margen, a cambio de una penalización. El equilibrio lo gobierna el parámetro de regularización C. Un C alto castiga con dureza cada error y estrecha el margen, arriesgando sobreajuste; un C bajo tolera más errores y ensancha el margen, favoreciendo la generalización. Ajustar C es una de las decisiones prácticas más importantes al entrenar una SVM.

El kernel trick y la no linealidad

Muchos problemas no son separables por una recta o un plano. La solución, propuesta por Bernhard Boser, Isabelle Guyon y Vapnik en 1992, es el truco del núcleo (kernel trick): proyectar implícitamente los datos a un espacio de mayor dimensión donde sí exista un hiperplano separador, sin llegar a calcular esa proyección. Basta sustituir los productos escalares por una función núcleo. Los kernels más usados son el lineal, el polinómico y el RBF o gaussiano; la elección del kernel y de sus parámetros define la forma de la frontera en el espacio original, que puede ser muy curva aunque siga siendo un plano en el espacio proyectado.