Lý thuyết học thống kê
Lý thuyết học thống kê nghiên cứu khi nào và tại sao việc học từ dữ liệu hữu hạn lại có thể khái quát hóa, cung cấp nền tảng toán học cho học máy.
Definition
Lý thuyết học thống kê là một nhánh của học máy sử dụng xác suất và thống kê để phân tích các điều kiện mà theo đó một mô hình được điều chỉnh cho một mẫu hữu hạn sẽ hoạt động tốt trên dữ liệu chưa từng thấy, đặc trưng hóa sự đánh đổi giữa việc khớp dữ liệu và kiểm soát độ phức tạp của mô hình.
Scope
Lĩnh vực này bao gồm lý thuyết về khái quát hóa: khuôn khổ tối thiểu hóa rủi ro thực nghiệm, các thước đo năng lực mô hình như chiều Vapnik-Chervonenkis, các giới hạn khái quát hóa liên hệ lỗi huấn luyện và lỗi thực, sự đánh đổi giữa độ chệch và phương sai, và lý thuyết học tính toán bao gồm mô hình có thể xấp xỉ đúng (probably approximately correct model). Nó giải quyết câu hỏi cơ bản về lượng dữ liệu cần thiết để học một cách đáng tin cậy.
Sub-topics
Core questions
- Khi nào việc tối thiểu hóa lỗi huấn luyện đảm bảo lỗi thấp trên dữ liệu mới?
- Năng lực hoặc độ phức tạp của một lớp mô hình được đo lường như thế nào?
- Cần bao nhiêu dữ liệu để học một khái niệm với độ chính xác nhất định?
- Tại sao độ phức tạp mô hình quá mức lại gây hại cho khả năng khái quát hóa?
Key theories
- Hội tụ đồng nhất và lý thuyết VC
- Vapnik và Chervonenkis đã chỉ ra rằng lỗi thực nghiệm hội tụ đồng nhất về lỗi thực trên một lớp mô hình với tốc độ được điều chỉnh bởi năng lực của lớp đó, đây là kết quả nền tảng liên kết độ phức tạp với khả năng khái quát hóa.
- Tối thiểu hóa rủi ro cấu trúc
- Thay vì chỉ tối thiểu hóa lỗi huấn luyện, việc học nên cân bằng giữa sự phù hợp và năng lực, chọn một lớp mô hình có độ phức tạp phù hợp với dữ liệu có sẵn để tối thiểu hóa một giới hạn trên lỗi thực.
- Độ chệch-phương sai và kiểm soát độ phức tạp
- Lỗi khái quát hóa phản ánh sự đánh đổi giữa độ chệch từ các mô hình quá đơn giản và phương sai từ các mô hình quá linh hoạt, chính thức hóa lý do tại sao độ phức tạp phải được điều chỉnh theo dữ liệu.
Clinical relevance
Lý thuyết học thống kê giải thích tại sao các phương pháp học máy hoạt động và cung cấp cơ sở lý luận khái niệm cho việc điều chuẩn (regularization), lựa chọn mô hình và kiểm soát năng lực được sử dụng trong toàn bộ lĩnh vực; các giới hạn của nó, mặc dù thường lỏng lẻo trong thực tế, định hình cách các nhà thực hành suy nghĩ về hiện tượng quá khớp (overfitting), kích thước mẫu và giới hạn của việc học.
History
Lĩnh vực này bắt nguồn từ công trình của Vapnik và Chervonenkis vào những năm 1960 và 1970 về hội tụ đồng nhất và năng lực, và từ mô hình có thể xấp xỉ đúng của Valiant vào năm 1984, đã định hình việc học như một vấn đề tính toán. Những luồng tư tưởng này, sau đó kết hợp với quan điểm độ chệch-phương sai từ thống kê, tạo thành cốt lõi lý thuyết của học máy.
Debates
- Tại sao các mô hình quá tham số lại có khả năng khái quát hóa?
- Lý thuyết cổ điển dự đoán rằng các mô hình có năng lực vượt xa dữ liệu sẽ bị quá khớp, nhưng các mạng nơ-ron rất lớn thường khái quát hóa tốt, thúc đẩy việc xem xét lại tích cực lý thuyết khái quát hóa.
Key figures
- Vladimir Vapnik
- Alexey Chervonenkis
- Leslie Valiant
Related topics
Seminal works
- vapnik1995
- vapnik1971
- hastie2009
Frequently asked questions
- Lý thuyết học thống kê cố gắng đảm bảo điều gì?
- Nó tìm kiếm các điều kiện mà theo đó lỗi thấp trên dữ liệu huấn luyện ngụ ý lỗi thấp trên dữ liệu chưa từng thấy được rút ra từ cùng một phân phối. Các đảm bảo có dạng các giới hạn liên hệ lỗi thực với lỗi huấn luyện và một thước đo độ phức tạp của mô hình.
- Tại sao độ phức tạp của mô hình lại quan trọng đến vậy?
- Một lớp mô hình quá phức tạp có thể khớp với bất kỳ dữ liệu huấn luyện nào, bao gồm cả nhiễu của nó, và do đó ít cho chúng ta biết về dữ liệu mới. Lý thuyết cho thấy khả năng khái quát hóa phụ thuộc vào năng lực của lớp, đó là lý do tại sao việc kiểm soát độ phức tạp là điều cần thiết để học đáng tin cậy.