طبقه‌بندی بردار پشتیبان

طبقه‌بندی بردار پشتیبان، کلاس‌ها را با استفاده از فراصفحه‌ای جدا می‌کند که حاشیه (margin) را تا نزدیک‌ترین نقاط آموزشی به حداکثر می‌رساند، و این قابلیت از طریق کرنل‌ها (kernels) به مرزهای غیرخطی گسترش می‌یابد.

Definition

طبقه‌بندی بردار پشتیبان یک روش مبتنی بر حاشیه است که مرز تصمیم‌گیری را انتخاب می‌کند که فاصله را تا نزدیک‌ترین نمونه‌های آموزشی هر کلاس به حداکثر می‌رساند، به صورت اختیاری در یک فضای ویژگی القا شده توسط کرنل، و بین عرض حاشیه و خطاهای طبقه‌بندی تعادل برقرار می‌کند.

Scope

این موضوع شامل فراصفحه با حداکثر حاشیه، نقش بردارهای پشتیبان، فرمول‌بندی حاشیه نرم با متغیرهای اسلک (slack variables) برای داده‌های غیرقابل تفکیک، مسئله بهینه‌سازی دوگانه، و ترفند کرنل (kernel trick) است که به طور ضمنی ویژگی‌ها را به فضای ابعاد بالاتر نگاشت می‌کند تا مرزهای تصمیم‌گیری غیرخطی به دست آید.

Core questions

• در میان مرزهای جداکننده، کدام یک بهترین تعمیم را ارائه می‌دهد؟
• کلاس‌های غیرقابل تفکیک چگونه مدیریت می‌شوند؟
• ترفند کرنل چگونه مرزهای غیرخطی را بدون نگاشت صریح ویژگی‌ها تولید می‌کند؟
• کدام نقاط آموزشی مرز را تعیین می‌کنند؟

Key theories

جداسازی با حداکثر حاشیه

انتخاب فراصفحه جداکننده که حاشیه را تا نزدیک‌ترین نقاط به حداکثر می‌رساند، منجر به مرزی می‌شود که توسط مجموعه‌ای پراکنده از بردارهای پشتیبان تعیین می‌شود و با کران‌های تعمیم از نظریه یادگیری آماری انگیزه می‌گیرد.

ترفند کرنل

از آنجا که بهینه‌سازی تنها از طریق ضرب داخلی به داده‌ها وابسته است، جایگزینی آنها با یک تابع کرنل متناظر با یک مرز حداکثر حاشیه در یک فضای ویژگی با ابعاد بالاتر است که طبقه‌بندی‌کننده‌های غیرخطی را با هزینه خطی ارائه می‌دهد.

Clinical relevance

ماشین‌های بردار پشتیبان به طور گسترده‌ای برای طبقه‌بندی ابعاد بالا مانند دسته‌بندی متن، بیوانفورماتیک، و تشخیص تصویر استفاده می‌شوند، جایی که اصل حاشیه و کرنل‌ها به طور مؤثری بسیاری از ویژگی‌ها و مرزهای پیچیده را مدیریت می‌کنند.

History

طبقه‌بندی بردار پشتیبان از نظریه یادگیری آماری نشأت گرفت و در فرمول‌بندی شبکه‌های بردار پشتیبان توسط کورتس و واپینک در سال 1995 متبلور شد، پس از آن روش‌های کرنل به یک پارادایم اصلی در یادگیری ماشین تبدیل شدند.

Debates

انتخاب کرنل و تنظیم‌کننده (regularization)

عملکرد به شدت به کرنل و پارامتر تنظیم‌کننده که نرمی حاشیه را کنترل می‌کند، بستگی دارد؛ اینها باید تنظیم شوند و هیچ انتخاب جهانی بهتری وجود ندارد.

Key figures

• Vladimir Vapnik
• Corinna Cortes

Seminal works

• cortes1995
• hastie2009
• vapnik1998

Frequently asked questions

بردارهای پشتیبان چه هستند؟

آنها نقاط آموزشی هستند که روی حاشیه یا درون آن قرار دارند و موقعیت مرز تصمیم‌گیری را تعیین می‌کنند؛ راه‌حل تنها به این نقاط بستگی دارد.

چرا از حاشیه نرم استفاده می‌شود؟

داده‌های واقعی به ندرت کاملاً قابل تفکیک هستند، بنابراین فرمول‌بندی حاشیه نرم به برخی نقاط اجازه می‌دهد تا حاشیه را نقض کنند در ازای یک مرز گسترده‌تر و مقاوم‌تر، که توسط یک پارامتر تنظیم‌کننده کنترل می‌شود.