Kriteria Informasi Prediktif

Kriteria informasi prediktif mengestimasi akurasi di luar sampel (out-of-sample) yang diharapkan dari suatu model dari posteriornya, menawarkan alternatif yang berfokus pada prediksi dibandingkan faktor Bayes untuk membandingkan model.

Definition

Kriteria informasi prediktif adalah estimasi kerapatan log prediktif yang diharapkan dari suatu model pada data baru, dihitung dari sampel posterior dan dikoreksi untuk overfitting dengan penalti parameter efektif, digunakan untuk memberi peringkat model berdasarkan kinerja prediktif.

Scope

Topik ini mencakup kriteria informasi deviasi (DIC), kriteria informasi yang berlaku luas (WAIC), dan validasi silang leave-one-out dengan pengambilan sampel penting yang dihaluskan Pareto (efficient Pareto-smoothed importance-sampling leave-one-out cross-validation), termasuk bagaimana masing-masing mengestimasi jumlah parameter efektif dan mendekati kerapatan log prediktif yang diharapkan.

Core questions

• Bagaimana DIC, WAIC, dan validasi silang leave-one-out mengestimasi akurasi prediktif?
• Apa itu jumlah parameter efektif dan bagaimana cara menghitungnya?
• Mengapa WAIC dianggap lebih Bayesian penuh daripada DIC?
• Bagaimana pengambilan sampel penting yang dihaluskan Pareto membuat validasi silang leave-one-out menjadi efisien?

Key concepts

• DIC
• WAIC
• validasi silang leave-one-out
• kerapatan log prediktif yang diharapkan
• jumlah parameter efektif
• pengambilan sampel penting yang dihaluskan Pareto
• penalti overfitting

Key theories

Jumlah parameter efektif

Setiap kriteria memberikan penalti pada kesesuaian dengan estimasi kompleksitas model yang berasal dari variabilitas log-likelihood di seluruh posterior, sehingga kesesuaian dalam sampel yang lebih baik tidak secara otomatis menang.

Kesetaraan WAIC dan validasi silang

Watanabe menunjukkan bahwa WAIC secara asimtotik setara dengan validasi silang leave-one-out Bayesian, dan keduanya secara langsung menargetkan kerapatan log prediktif di luar sampel yang diharapkan menggunakan posterior penuh.

Clinical relevance

Kriteria prediktif memungkinkan peneliti membandingkan model kandidat untuk prediksi dalam epidemiologi, ekologi, dan ilmu fisika tanpa menentukan prior yang disetel dengan cermat yang dituntut oleh faktor Bayes.

History

Spiegelhalter dan rekan-rekan mengusulkan DIC pada tahun 2002; Watanabe memperkenalkan WAIC dari teori pembelajaran singular pada tahun 2010. Karya Vehtari, Gelman, dan Gabry tahun 2017 tentang validasi silang leave-one-out dengan pengambilan sampel penting yang dihaluskan Pareto membuat evaluasi prediktif yang stabil dan dapat didiagnosis menjadi praktis.

Debates

Keandalan DIC

DIC dapat berperilaku buruk untuk model hierarkis dan non-reguler serta tidak memiliki invarian, menyebabkan banyak orang lebih memilih WAIC atau validasi silang leave-one-out, meskipun tidak ada kriteria tunggal yang secara universal terbaik.

Key figures

• David Spiegelhalter
• Sumio Watanabe
• Aki Vehtari
• Andrew Gelman

Seminal works

• watanabe2010
• vehtari2017

Frequently asked questions

Apakah kriteria informasi yang lebih rendah atau lebih tinggi lebih baik?

Kriteria ini biasanya dilaporkan pada skala deviasi di mana nilai yang lebih rendah menunjukkan akurasi prediktif di luar sampel yang diestimasi lebih baik; perbedaan harus dinilai relatif terhadap galat standarnya daripada diperlakukan sebagai eksak.