Máquinas de Vectores de Soporte y Métodos de Kernel

Las máquinas de vectores de soporte encuentran el límite de decisión que maximiza el margen entre clases, y el truco del kernel permite que dichos métodos lineales operen implícitamente en espacios de características no lineales ricos.

Definition

Una máquina de vectores de soporte es un clasificador que elige el hiperplano de separación que maximiza la distancia a los puntos de entrenamiento más cercanos; los métodos de kernel generalizan esto calculando productos internos a través de una función de kernel, lo que permite que los algoritmos lineales ajusten límites no lineales sin construir explícitamente el espacio de características de alta dimensión.

Scope

Este tema cubre la clasificación de margen máximo, las formulaciones primal y dual de la máquina de vectores de soporte, el papel de los vectores de soporte y las variables de holgura para datos no separables, el truco del kernel que reemplaza los productos internos con funciones de kernel, kernels comunes como las funciones polinómicas y de base radial, y la extensión de la kernelización a la regresión y otros métodos lineales.

Core questions

• ¿Por qué maximizar el margen tiende a mejorar la generalización?
• ¿Cómo expresa la formulación dual la solución en términos de vectores de soporte?
• ¿Qué logra el truco del kernel y por qué es eficiente?
• ¿Cómo se utilizan los márgenes suaves y las variables de holgura cuando las clases se superponen?

Key theories

Separación de margen máximo

Entre los hiperplanos de separación, el que maximiza el margen a los puntos más cercanos produce una solución única determinada por unos pocos vectores de soporte y se asocia con buenos límites de generalización.

El truco del kernel

Debido a que la optimización depende de los datos solo a través de productos internos, reemplazarlos con una función de kernel evalúa un mapeo de características no lineal implícitamente, ajustando límites no lineales al costo de un método lineal.

Margen suave y variables de holgura

Permitir violaciones de margen controladas a través de variables de holgura y un parámetro de regularización hace que la máquina de vectores de soporte sea aplicable a clases superpuestas y ruidosas, mientras se equilibra el ancho del margen con los errores de entrenamiento.

Clinical relevance

Las máquinas de vectores de soporte y los métodos de kernel fueron los clasificadores de alta precisión líderes antes del aprendizaje profundo y siguen siendo opciones sólidas para problemas de tamaño moderado, especialmente en texto y bioinformática; la idea del kernel también se generaliza mucho más allá de la clasificación, apareciendo en la regresión de kernel, los procesos gaussianos y el análisis de componentes principales kernelizado.

History

La idea del margen máximo y el truco del kernel fueron combinados por Boser, Guyon y Vapnik alrededor de 1992, y la máquina de vectores de soporte de margen suave fue formalizada por Cortes y Vapnik en 1995. A finales de los años 90 y en la década de 2000, los métodos de kernel se volvieron dominantes en el reconocimiento de patrones antes de ser en gran medida desplazados por el aprendizaje profundo en tareas perceptuales a gran escala.

Key figures

• Vladimir Vapnik
• Corinna Cortes
• Bernhard Scholkopf

Seminal works

• cortes1995
• vapnik1995
• bishop2006

Frequently asked questions

¿Qué es un vector de soporte?

Un vector de soporte es un punto de entrenamiento que se encuentra en o dentro del margen y, por lo tanto, determina la posición del límite de decisión. El clasificador ajustado depende solo de estos puntos, por lo que el resto de los datos de entrenamiento pueden descartarse.

¿Por qué se le llama truco al uso de kernels?

El truco del kernel permite que un algoritmo se comporte como si hubiera mapeado los datos en un espacio de características de muy alta dimensión o incluso de dimensión infinita, mientras que solo calcula valores de kernel entre pares de puntos. Evita el costo de construir ese espacio explícitamente.