Tiêu chí thông tin dự đoán

Các tiêu chí thông tin dự đoán ước tính độ chính xác ngoài mẫu dự kiến của một mô hình từ hậu nghiệm của nó, đưa ra một lựa chọn tập trung vào dự đoán thay thế cho các yếu tố Bayes để so sánh các mô hình.

Definition

Các tiêu chí thông tin dự đoán là ước tính mật độ log dự đoán kỳ vọng của một mô hình trên dữ liệu mới, được tính toán từ các mẫu hậu nghiệm và được hiệu chỉnh để tránh overfitting bằng một hình phạt tham số hiệu quả, được sử dụng để xếp hạng các mô hình theo hiệu suất dự đoán.

Scope

Chủ đề này bao gồm tiêu chí thông tin độ lệch (DIC), tiêu chí thông tin áp dụng rộng rãi (WAIC) và kiểm định chéo loại trừ từng phần tử bằng lấy mẫu quan trọng làm mịn Pareto hiệu quả, bao gồm cách mỗi tiêu chí ước tính số lượng tham số hiệu quả và xấp xỉ mật độ log dự đoán kỳ vọng.

Core questions

• DIC, WAIC và kiểm định chéo loại trừ từng phần tử ước tính độ chính xác dự đoán như thế nào?
• Số lượng tham số hiệu quả là gì và nó được tính toán như thế nào?
• Tại sao WAIC được coi là Bayesian hoàn chỉnh hơn DIC?
• Làm thế nào lấy mẫu quan trọng làm mịn Pareto làm cho kiểm định chéo loại trừ từng phần tử trở nên hiệu quả?

Key concepts

• DIC
• WAIC
• kiểm định chéo loại trừ từng phần tử
• mật độ log dự đoán kỳ vọng
• số lượng tham số hiệu quả
• lấy mẫu quan trọng làm mịn Pareto
• hình phạt overfitting

Key theories

Số lượng tham số hiệu quả

Mỗi tiêu chí phạt sự phù hợp bằng một ước tính độ phức tạp của mô hình được suy ra từ sự biến thiên của log-likelihood trên hậu nghiệm, để sự phù hợp trong mẫu tốt hơn không tự động chiến thắng.

Sự tương đương giữa WAIC và kiểm định chéo

Watanabe đã chỉ ra rằng WAIC tương đương tiệm cận với kiểm định chéo loại trừ từng phần tử Bayesian, và cả hai đều trực tiếp nhắm mục tiêu mật độ log dự đoán ngoài mẫu kỳ vọng bằng cách sử dụng toàn bộ hậu nghiệm.

Clinical relevance

Các tiêu chí dự đoán cho phép các nhà nghiên cứu so sánh các mô hình ứng cử viên để dự đoán trong dịch tễ học, sinh thái học và khoa học vật lý mà không cần chỉ định các tiên nghiệm được điều chỉnh cẩn thận mà các yếu tố Bayes yêu cầu.

History

Spiegelhalter và các đồng nghiệp đã đề xuất DIC vào năm 2002; Watanabe đã giới thiệu WAIC từ lý thuyết học tập kỳ dị vào năm 2010. Công trình năm 2017 của Vehtari, Gelman và Gabry về kiểm định chéo loại trừ từng phần tử bằng lấy mẫu quan trọng làm mịn Pareto đã làm cho việc đánh giá dự đoán ổn định, có thể chẩn đoán trở nên khả thi.

Debates

Độ tin cậy của DIC

DIC có thể hoạt động kém đối với các mô hình phân cấp và không chính quy và thiếu tính bất biến, khiến nhiều người thích WAIC hoặc kiểm định chéo loại trừ từng phần tử hơn, mặc dù không có tiêu chí nào là tốt nhất một cách phổ quát.

Key figures

• David Spiegelhalter
• Sumio Watanabe
• Aki Vehtari
• Andrew Gelman

Seminal works

• watanabe2010
• vehtari2017

Frequently asked questions

Tiêu chí thông tin thấp hơn hay cao hơn thì tốt hơn?

Các tiêu chí này thường được báo cáo trên thang độ lệch, trong đó giá trị thấp hơn cho thấy độ chính xác dự đoán ngoài mẫu ước tính tốt hơn; sự khác biệt nên được đánh giá tương đối so với sai số chuẩn của chúng hơn là được coi là chính xác.