Máy Học Vector Hỗ Trợ và Các Phương Pháp Nhân

Máy học vector hỗ trợ tìm ranh giới quyết định tối đa hóa biên độ giữa các lớp, và thủ thuật nhân cho phép các phương pháp tuyến tính như vậy hoạt động một cách gián tiếp trong các không gian đặc trưng phi tuyến phong phú.

Definition

Máy học vector hỗ trợ là một bộ phân loại chọn siêu phẳng phân tách tối đa hóa khoảng cách đến các điểm huấn luyện gần nhất; các phương pháp nhân tổng quát hóa điều này bằng cách tính toán tích vô hướng thông qua một hàm nhân, cho phép các thuật toán tuyến tính phù hợp với các ranh giới phi tuyến mà không cần xây dựng rõ ràng không gian đặc trưng chiều cao.

Scope

Chủ đề này bao gồm phân loại biên độ tối đa, các công thức nguyên thủy và đối ngẫu của máy học vector hỗ trợ, vai trò của các vector hỗ trợ và biến trượt cho dữ liệu không thể phân tách, thủ thuật nhân thay thế tích vô hướng bằng các hàm nhân, các nhân phổ biến như đa thức và hàm cơ sở xuyên tâm, và sự mở rộng của nhân hóa sang hồi quy và các phương pháp tuyến tính khác.

Core questions

• Tại sao việc tối đa hóa biên độ có xu hướng cải thiện khả năng tổng quát hóa?
• Làm thế nào công thức đối ngẫu biểu thị nghiệm theo các vector hỗ trợ?
• Thủ thuật nhân đạt được điều gì và tại sao nó hiệu quả?
• Biên độ mềm và biến trượt được sử dụng như thế nào khi các lớp chồng chéo?

Key theories

Phân tách biên độ tối đa

Trong số các siêu phẳng phân tách, siêu phẳng tối đa hóa biên độ đến các điểm gần nhất mang lại một nghiệm duy nhất được xác định bởi một vài vector hỗ trợ và có liên quan đến các giới hạn tổng quát hóa tốt.

Thủ thuật nhân

Vì quá trình tối ưu hóa chỉ phụ thuộc vào dữ liệu thông qua tích vô hướng, việc thay thế chúng bằng một hàm nhân sẽ đánh giá một ánh xạ đặc trưng phi tuyến một cách gián tiếp, phù hợp với các ranh giới phi tuyến với chi phí của một phương pháp tuyến tính.

Biên độ mềm và biến trượt

Việc cho phép vi phạm biên độ có kiểm soát thông qua các biến trượt và một tham số điều hòa làm cho máy học vector hỗ trợ có thể áp dụng cho các lớp chồng chéo, nhiễu trong khi đánh đổi độ rộng biên độ với lỗi huấn luyện.

Clinical relevance

Máy học vector hỗ trợ và các phương pháp nhân là những bộ phân loại có độ chính xác cao hàng đầu trước khi học sâu ra đời và vẫn là những lựa chọn mạnh mẽ cho các vấn đề có quy mô vừa phải, đặc biệt trong lĩnh vực văn bản và tin sinh học; ý tưởng nhân cũng tổng quát hóa vượt xa phân loại, xuất hiện trong hồi quy nhân, các quá trình Gaussian và phân tích thành phần chính được nhân hóa.

History

Ý tưởng biên độ tối đa và thủ thuật nhân đã được Boser, Guyon và Vapnik kết hợp vào khoảng năm 1992, và máy học vector hỗ trợ biên độ mềm đã được Cortes và Vapnik chính thức hóa vào năm 1995. Trong suốt cuối những năm 1990 và những năm 2000, các phương pháp nhân trở nên thống trị trong nhận dạng mẫu trước khi phần lớn bị thay thế bởi học sâu trong các tác vụ nhận thức quy mô lớn.

Key figures

• Vladimir Vapnik
• Corinna Cortes
• Bernhard Scholkopf

Seminal works

• cortes1995
• vapnik1995
• bishop2006

Frequently asked questions

Vector hỗ trợ là gì?

Vector hỗ trợ là một điểm huấn luyện nằm trên hoặc trong biên độ và do đó xác định vị trí của ranh giới quyết định. Bộ phân loại được điều chỉnh chỉ phụ thuộc vào các điểm này, vì vậy phần còn lại của dữ liệu huấn luyện có thể bị loại bỏ.

Tại sao việc sử dụng nhân lại được gọi là một thủ thuật?

Thủ thuật nhân cho phép một thuật toán hoạt động như thể nó đã ánh xạ dữ liệu vào một không gian đặc trưng có chiều rất cao hoặc thậm chí vô hạn, trong khi chỉ tính toán các giá trị nhân giữa các cặp điểm. Nó tránh được chi phí xây dựng không gian đó một cách rõ ràng.