Hệ số Bayes và Khả năng biên

Khả năng biên là xác suất của dữ liệu theo một mô hình sau khi tích hợp các tham số của nó, và tỷ lệ của hai khả năng biên, hệ số Bayes, đo lường bằng chứng giữa các mô hình.

Definition

Khả năng biên của một mô hình là tích phân của khả năng theo phân bố tiên nghiệm; hệ số Bayes giữa hai mô hình là tỷ lệ của các khả năng biên của chúng và, khi nhân với tỷ lệ tiên nghiệm, sẽ cho tỷ lệ hậu nghiệm ủng hộ một mô hình.

Scope

Chủ đề này bao gồm định nghĩa và cách diễn giải khả năng biên, hệ số Bayes và việc hiệu chỉnh nó thành các loại bằng chứng, sự tự động phạt phức tạp của nó, nghịch lý Jeffreys-Lindley cho thấy sự nhạy cảm với các phân bố tiên nghiệm rộng, và các phương pháp tính toán như lấy mẫu cầu nối (bridge sampling).

Core questions

• Khả năng biên là gì và làm thế nào nó thể hiện một dao cạo Occam tự động?
• Hệ số Bayes được diễn giải như thế nào về sức mạnh của bằng chứng?
• Tại sao hệ số Bayes nhạy cảm với việc lựa chọn phân bố tiên nghiệm, như được thể hiện bởi nghịch lý Jeffreys-Lindley?
• Khả năng biên được tính toán trong thực tế như thế nào?

Key concepts

• khả năng biên
• hệ số Bayes
• tỷ lệ hậu nghiệm
• dao cạo Occam
• nghịch lý Jeffreys-Lindley
• lấy mẫu cầu nối
• độ nhạy tiên nghiệm

Key theories

Hệ số Bayes như bằng chứng

Hệ số Bayes chuyển đổi tỷ lệ tiên nghiệm thành tỷ lệ hậu nghiệm và được đọc trên các thang đo đã hiệu chỉnh như trọng lượng bằng chứng mà dữ liệu cung cấp cho mô hình này so với mô hình khác.

Nghịch lý Jeffreys-Lindley

Bởi vì khả năng biên phụ thuộc vào độ trải của phân bố tiên nghiệm, một phân bố tiên nghiệm rộng tùy ý có thể buộc hệ số Bayes ủng hộ mô hình đơn giản hơn bất kể dữ liệu, vì vậy không được sử dụng các phân bố tiên nghiệm không chuẩn tắc (improper priors) để so sánh mô hình.

Clinical relevance

Hệ số Bayes cung cấp một thước đo bằng chứng có nguyên tắc được sử dụng trong di truyền học, tâm lý học và vật lý để so sánh các giả thuyết, nhưng sự phụ thuộc của chúng vào phân bố tiên nghiệm có nghĩa là chúng phải được báo cáo cùng với các phân bố tiên nghiệm đã tạo ra chúng.

History

Jeffreys đã phát triển hệ số Bayes để kiểm định giả thuyết vào những năm 1930; nghịch lý năm 1957 của Lindley đã phơi bày sự nhạy cảm của chúng đối với các phân bố tiên nghiệm rộng. Đánh giá năm 1995 của Kass và Raftery đã chuẩn hóa cách diễn giải của chúng và khảo sát các phương pháp tính toán.

Debates

Sử dụng các phân bố tiên nghiệm không chuẩn tắc hoặc mơ hồ

Bởi vì khả năng biên không xác định đối với các phân bố tiên nghiệm không chuẩn tắc và không ổn định đối với các phân bố rất rộng, có một cuộc tranh luận về các phân bố tiên nghiệm mặc định để so sánh mô hình và liệu hệ số Bayes có phù hợp trong những trường hợp như vậy hay không.

Key figures

• Harold Jeffreys
• Dennis Lindley
• Robert Kass
• Adrian Raftery

Seminal works

• kass1995
• lindley1957

Frequently asked questions

Tôi có thể sử dụng phân bố tiên nghiệm không thông tin để tính hệ số Bayes không?

Thông thường là không: các phân bố tiên nghiệm không chuẩn tắc làm cho khả năng biên không xác định và các phân bố tiên nghiệm chuẩn tắc rất rộng làm sai lệch hệ số Bayes về phía mô hình đơn giản hơn, đây là bản chất của nghịch lý Jeffreys-Lindley, vì vậy hệ số Bayes yêu cầu các phân bố tiên nghiệm chuẩn tắc được lựa chọn cẩn thận.