Làm vỡ có nghĩa là gì?

Một tập hợp điểm bị làm vỡ bởi một lớp mô hình nếu, với mỗi cách gán nhãn có thể cho các điểm đó, một mô hình nào đó trong lớp tạo ra chính xác cách gán nhãn đó. Kích thước của tập hợp có thể bị làm vỡ lớn nhất là chiều Vapnik-Chervonenkis.

Một mô hình có nhiều tham số hơn luôn có khả năng cao hơn không?

Không nhất thiết. Khả năng được đo bằng chiều Vapnik-Chervonenkis hoặc các đại lượng liên quan, có thể khác với số lượng tham số. Thước đo đúng về độ phức tạp để tổng quát hóa là khả năng, chứ không chỉ đơn giản là số lượng tham số mà một mô hình có.

Chiều VC và Khả năng

Chiều Vapnik-Chervonenkis đo lường khả năng của một lớp mô hình bằng tập hợp điểm lớn nhất mà nó có thể gán nhãn theo mọi cách có thể, định lượng mức độ phức tạp của một bộ học.

Tìm chủ đề với PaperMindSắp ra mắtFind papers & topics

Tools & resources

Tải xuống bản trình chiếu

Learn & explore

VideoSắp ra mắt

Definition

Chiều Vapnik-Chervonenkis của một lớp bộ phân loại là số lượng điểm lớn nhất mà lớp đó có thể gán nhãn theo mọi cách có thể; nó là một thước đo khả năng giới hạn mức độ lớp đó có thể quá khớp và do đó cần bao nhiêu dữ liệu để học một cách đáng tin cậy.

Scope

Chủ đề này bao gồm các thước đo về độ phong phú của một lớp giả thuyết: khái niệm làm vỡ một tập hợp điểm, chiều Vapnik-Chervonenkis như kích thước của tập hợp bị làm vỡ lớn nhất, hàm tăng trưởng và cách các thước đo khả năng này đi vào các giới hạn tổng quát hóa. Nó giải thích tại sao khả năng, chứ không phải chỉ riêng số lượng tham số, chi phối khả năng tổng quát hóa.

Core questions

Điều gì có nghĩa khi một lớp mô hình làm vỡ một tập hợp điểm?
Chiều Vapnik-Chervonenkis được định nghĩa và tính toán như thế nào?
Tại sao khả năng chứ không phải số lượng tham số chi phối tổng quát hóa?
Khả năng đi vào các giới hạn về khoảng cách giữa lỗi huấn luyện và lỗi thực như thế nào?

Key theories

Làm vỡ và khả năng: Một lớp làm vỡ một tập hợp điểm nếu nó có thể thực hiện mọi cách gán nhãn có thể cho chúng; tập hợp lớn nhất như vậy định nghĩa chiều Vapnik-Chervonenkis, một thước đo không phụ thuộc phân phối về mức độ linh hoạt của lớp.
Khả năng kiểm soát hội tụ đều: Khả năng hữu hạn đảm bảo rằng lỗi thực nghiệm hội tụ về lỗi thực một cách đều đặn trên toàn lớp, do đó một bộ học với chiều Vapnik-Chervonenkis bị giới hạn không thể quá khớp một cách tùy tiện khi dữ liệu tăng lên.
Khả năng so với số lượng tham số: Khả năng, chứ không phải số lượng tham số thô, quyết định khả năng tổng quát hóa, vì vậy hai mô hình có cùng số lượng tham số có thể khác nhau rất nhiều về lượng dữ liệu chúng yêu cầu.

Clinical relevance

Chiều Vapnik-Chervonenkis cung cấp thước đo khả năng trung tâm của lý thuyết học cổ điển và biện minh cho việc kiểm soát độ phức tạp của mô hình; nó là nền tảng cho phân tích dựa trên biên của máy vector hỗ trợ và định hình các nỗ lực đang diễn ra để hiểu tại sao một số mô hình có khả năng rất cao vẫn tổng quát hóa tốt.

History

Vapnik và Chervonenkis đã giới thiệu chiều mang tên họ trong các công trình từ cuối những năm 1960 và bài báo năm 1971 về hội tụ đều, thiết lập một lý thuyết khả năng không phụ thuộc phân phối. Khái niệm này trở thành nền tảng cho máy vector hỗ trợ và cho phân tích tổng quát hóa rộng hơn.

Key figures

Vladimir Vapnik
Alexey Chervonenkis

Seminal works

vapnik1971
vapnik1995
hastie2009

Frequently asked questions

Làm vỡ có nghĩa là gì?: Một tập hợp điểm bị làm vỡ bởi một lớp mô hình nếu, với mỗi cách gán nhãn có thể cho các điểm đó, một mô hình nào đó trong lớp tạo ra chính xác cách gán nhãn đó. Kích thước của tập hợp có thể bị làm vỡ lớn nhất là chiều Vapnik-Chervonenkis.
Một mô hình có nhiều tham số hơn luôn có khả năng cao hơn không?: Không nhất thiết. Khả năng được đo bằng chiều Vapnik-Chervonenkis hoặc các đại lượng liên quan, có thể khác với số lượng tham số. Thước đo đúng về độ phức tạp để tổng quát hóa là khả năng, chứ không chỉ đơn giản là số lượng tham số mà một mô hình có.