Ước lượng M và các quá trình thực nghiệm

Ước lượng M xem xét các ước lượng được định nghĩa bằng cách tối ưu hóa một tiêu chí mẫu như một họ duy nhất, và lý thuyết quá trình thực nghiệm cung cấp các định lý giới hạn đồng nhất cần thiết để phân tích chúng.

Definition

Một ước lượng M là giá trị tối đa của trung bình mẫu của một hàm tiêu chí, và một ước lượng Z là nghiệm của trung bình mẫu của một hàm ước lượng; quá trình thực nghiệm là sự khác biệt được điều chỉnh tỷ lệ giữa phân phối thực nghiệm và phân phối thực, được lập chỉ mục bởi một lớp các hàm.

Scope

Chủ đề này bao gồm các ước lượng M tối đa hóa một hàm mục tiêu và các ước lượng Z giải các phương trình ước lượng, sự thống nhất của ước lượng khả năng xảy ra tối đa, bình phương nhỏ nhất, phân vị và ước lượng mạnh mẽ, tính nhất quán và tính chuẩn tắc tiệm cận của các ước lượng M thông qua hội tụ đồng nhất, phân phối thực nghiệm và quá trình thực nghiệm, hội tụ yếu đến một quá trình Gaussian, các lớp Glivenko-Cantelli và Donsker, và các điều kiện entropy và bracketing kiểm soát độ phức tạp.

Core questions

• Làm thế nào ước lượng M và Z thống nhất các ước lượng khả năng xảy ra tối đa, bình phương nhỏ nhất và mạnh mẽ?
• Sự hội tụ đồng nhất nào là cần thiết để chứng minh tính nhất quán và tính chuẩn tắc tiệm cận của một ước lượng M?
• Khi nào quá trình thực nghiệm hội tụ yếu đến một quá trình Gaussian, nghĩa là, khi nào một lớp là Donsker?
• Các điều kiện entropy và bracketing kiểm soát độ phức tạp của một lớp hàm như thế nào?

Key theories

Ước lượng M và Z

Các ước lượng được định nghĩa bằng cách tối ưu hóa hoặc bằng cách đặt trung bình mẫu bằng 0 có chung một phân tích tiệm cận: luật số lớn đồng nhất mang lại tính nhất quán và một phép tuyến tính hóa mang lại tính chuẩn tắc tiệm cận với phương sai dạng sandwich.

Hội tụ yếu của quá trình thực nghiệm

Trên một lớp hàm Donsker, quá trình thực nghiệm hội tụ yếu đến một quá trình Gaussian, tổng quát hóa định lý giới hạn trung tâm từ một thống kê duy nhất sang toàn bộ một lớp hàm và làm nền tảng cho các tiệm cận hiện đại.

Clinical relevance

Ước lượng M cung cấp các sai số chuẩn dạng sandwich, hoặc mạnh mẽ, được sử dụng khi một mô hình có thể bị sai lệch, và lý thuyết quá trình thực nghiệm cung cấp các đảm bảo lý thuyết đằng sau các giới hạn tổng quát hóa trong học máy thống kê, kết nối thống kê cổ điển với học máy.

History

Huber đã giới thiệu ước lượng M cho thống kê mạnh mẽ vào năm 1964. Chương trình quá trình thực nghiệm, được Dudley, Pollard và những người khác phát triển trong những năm 1970 và 1980 và được tổng hợp trong chuyên khảo năm 1996 của van der Vaart và Wellner, đã cung cấp lý thuyết giới hạn đồng nhất hiện là tiêu chuẩn trong tiệm cận.

Key figures

• Peter J. Huber
• Aad van der Vaart
• Richard M. Dudley
• Jon A. Wellner

Seminal works

• vanderVaart1998

Frequently asked questions

Sự khác biệt giữa ước lượng M và ước lượng Z là gì?

Một ước lượng M tối đa hóa một hàm mục tiêu mẫu, trong khi một ước lượng Z giải một hệ phương trình ước lượng; khi hàm mục tiêu khả vi, hai loại này trùng khớp, vì giá trị tối đa là nghiệm của đạo hàm.

Tại sao lý thuyết quá trình thực nghiệm lại quan trọng đối với học máy?

Các định lý giới hạn đồng nhất trên các lớp hàm giới hạn mức độ sai số thực nghiệm có thể lệch khỏi sai số thực trên tất cả các mô hình ứng cử viên, đây chính xác là điều mà các đảm bảo tổng quát hóa yêu cầu.