Ước lượng Bayes và Ước lượng co rút

Ước lượng Bayes kết hợp niềm tin tiên nghiệm với dữ liệu để giảm thiểu rủi ro trung bình, và các ước lượng co rút khai thác thực tế đáng ngạc nhiên rằng việc kéo các ước lượng về một trung tâm có thể vượt trội hơn ước lượng hiển nhiên.

Definition

Một ước lượng Bayes giảm thiểu tổn thất dự kiến trung bình trên một phân phối tiên nghiệm của tham số; một ước lượng co rút cố ý làm chệch một ước lượng về một điểm cố định hoặc trung bình chung để giảm thiểu sai số bình phương trung bình tổng thể của nó.

Scope

Chủ đề này bao gồm các phân phối tiên nghiệm và hậu nghiệm, các ước lượng Bayes dưới dạng trung bình hậu nghiệm theo hàm mất mát bình phương sai số và các hàm mất mát khác, mối quan hệ giữa rủi ro Bayes và rủi ro tần suất, ước lượng James-Stein và nghịch lý Stein về tính không chấp nhận được trong ba chiều trở lên, Bayes thực nghiệm và co rút phân cấp, và sự đánh đổi giữa độ chệch-phương sai làm cho việc co rút trở nên có lợi.

Core questions

• Làm thế nào để một ước lượng Bayes được suy ra từ phân phối hậu nghiệm dưới một hàm mất mát nhất định?
• Tại sao ước lượng James-Stein lại vượt trội hơn trung bình mẫu trong ba chiều trở lên?
• Bayes thực nghiệm mượn sức mạnh từ các bài toán ước lượng liên quan như thế nào?
• Khi nào thì độ chệch được đưa vào bởi sự co rút mang lại lợi ích trong việc giảm rủi ro?

Key theories

Ước lượng Bayes và kỳ vọng hậu nghiệm

Theo hàm mất mát bình phương sai số, ước lượng Bayes là trung bình hậu nghiệm; đối với các hàm mất mát khác, nó là tóm tắt hậu nghiệm tương ứng, và nó giảm thiểu rủi ro Bayes trung bình trên tiên nghiệm.

Nghịch lý Stein và ước lượng James-Stein

Khi ước lượng đồng thời ba hoặc nhiều trung bình, trung bình mẫu là không chấp nhận được theo hàm mất mát bình phương sai số, và ước lượng James-Stein co rút về một điểm chung có rủi ro nhỏ hơn đồng nhất.

Clinical relevance

Các ước lượng co rút và Bayes thực nghiệm cải thiện độ chính xác khi nhiều đại lượng liên quan được ước lượng cùng lúc, như trong ước lượng vùng nhỏ, xếp hạng thể thao và giáo dục, genomics, và hồi quy Ridge và hồi quy chính quy hóa, nơi việc tổng hợp thông tin giữa các đơn vị tốt hơn là xử lý từng đơn vị một cách riêng lẻ.

History

Stein đã chỉ ra vào năm 1956 rằng ước lượng thông thường của một trung bình chuẩn đa biến là không chấp nhận được trong ba chiều trở lên, và James và Stein đã trình bày một ước lượng vượt trội vào năm 1961. Efron và Morris đã định hình lại kết quả thông qua Bayes thực nghiệm vào những năm 1970, biến việc co rút thành một công cụ thực tế.

Key figures

• Charles Stein
• Willard James
• Bradley Efron
• James O. Berger

Seminal works

• berger1985

Frequently asked questions

Tại sao một ước lượng chệch lại được ưu tiên?

Bởi vì sai số bình phương trung bình kết hợp độ chệch và phương sai; một độ chệch nhỏ nhưng mang lại sự giảm đáng kể về phương sai có thể làm giảm tổng sai số, đây chính xác là điều mà các ước lượng co rút khai thác.

Nghịch lý Stein có thực sự là một nghịch lý không?

Nó gây ngạc nhiên hơn là mâu thuẫn: nó cho thấy rằng việc ước lượng một số trung bình không liên quan được cải thiện bằng cách co rút chúng cùng nhau, bởi vì rủi ro tổng hợp, chứ không phải từng ước lượng riêng biệt, là thứ được giảm.