Метод опорных векторов и ядерные методы

Метод опорных векторов находит разделяющую границу, которая максимизирует отступ между классами, а ядерный трюк позволяет таким линейным методам неявно работать в богатых нелинейных пространствах признаков.

Definition

Метод опорных векторов — это классификатор, который выбирает разделяющую гиперплоскость, максимизирующую расстояние до ближайших обучающих точек; ядерные методы обобщают это, вычисляя скалярные произведения через ядерную функцию, что позволяет линейным алгоритмам подгонять нелинейные границы без явного построения высокоразмерного пространства признаков.

Scope

Эта тема охватывает классификацию с максимальным отступом, прямую и двойственную формулировки метода опорных векторов, роль опорных векторов и переменных ослабления для неразделимых данных, ядерный трюк, который заменяет скалярные произведения ядерными функциями, общие ядра, такие как полиномиальные и радиальные базисные функции, а также расширение кернелизации на регрессию и другие линейные методы.

Core questions

• Почему максимизация отступа обычно улучшает обобщающую способность?
• Как двойственная формулировка выражает решение в терминах опорных векторов?
• Что достигается с помощью ядерного трюка и почему он эффективен?
• Как используются мягкие отступы и переменные ослабления, когда классы перекрываются?

Key theories

Разделение с максимальным отступом

Среди разделяющих гиперплоскостей та, которая максимизирует отступ до ближайших точек, дает уникальное решение, определяемое несколькими опорными векторами, и связана с хорошими границами обобщения.

Ядерный трюк

Поскольку оптимизация зависит от данных только через скалярные произведения, замена их ядерной функцией неявно оценивает нелинейное отображение признаков, подгоняя нелинейные границы ценой линейного метода.

Мягкий отступ и переменные ослабления

Разрешение контролируемых нарушений отступа с помощью переменных ослабления и параметра регуляризации делает метод опорных векторов применимым к перекрывающимся, зашумленным классам, при этом балансируя ширину отступа и ошибки обучения.

Clinical relevance

Метод опорных векторов и ядерные методы были ведущими высокоточными классификаторами до появления глубокого обучения и остаются сильным выбором для задач умеренного размера, особенно в текстовом анализе и биоинформатике; идея ядра также обобщается далеко за пределы классификации, появляясь в ядерной регрессии, гауссовских процессах и кернелизированном анализе главных компонент.

History

Идея максимального отступа и ядерный трюк были объединены Бозером, Гийоном и Вапником около 1992 года, а метод опорных векторов с мягким отступом был формализован Кортесом и Вапником в 1995 году. В конце 1990-х и 2000-х годах ядерные методы стали доминирующими в распознавании образов, прежде чем быть в значительной степени вытесненными глубоким обучением в крупномасштабных задачах восприятия.

Key figures

• Vladimir Vapnik
• Corinna Cortes
• Bernhard Scholkopf

Seminal works

• cortes1995
• vapnik1995
• bishop2006

Frequently asked questions

Что такое опорный вектор?

Опорный вектор — это обучающая точка, которая лежит на границе или внутри отступа и, таким образом, определяет положение разделяющей границы. Подходящий классификатор зависит только от этих точек, поэтому остальная часть обучающих данных может быть отброшена.

Почему использование ядер называется «трюком»?

Ядерный трюк позволяет алгоритму вести себя так, как если бы он отображал данные в очень высокоразмерное или даже бесконечномерное пространство признаков, при этом вычисляя только значения ядра между парами точек. Это позволяет избежать затрат на явное построение этого пространства.