Prior Informasi Lemah dan Regularisasi

Prior informasi lemah adalah prior yang sengaja dibuat ringan, yang menyingkirkan nilai parameter yang tidak masuk akal dan menstabilkan estimasi tanpa memaksakan keyakinan substantif yang kuat.

Definition

Prior informasi lemah adalah prior yang tepat yang dipilih agar luas pada skala nilai parameter yang masuk akal, memberikan informasi yang cukup untuk meregularisasi posterior dan meningkatkan komputasi sambil tetap tidak berkomitmen tentang nilai spesifik dalam rentang tersebut.

Scope

Topik ini mencakup alasan penggunaan prior informasi lemah dibandingkan prior datar, efek regularisasi dan penyusutan, pilihan default untuk koefisien regresi dan parameter skala, serta prior yang menginduksi sparsitas seperti horseshoe dan Bayesian Lasso.

Core questions

• Mengapa prior informasi lemah lebih disukai daripada prior datar atau tidak tepat dalam praktiknya?
• Bagaimana prior meregularisasi estimasi dan menyusutkannya ke arah nilai yang masuk akal?
• Prior default apa yang direkomendasikan untuk koefisien regresi dan parameter varians?
• Bagaimana prior sparsitas seperti horseshoe menangani banyak koefisien yang berpotensi nol?

Key concepts

• prior informasi lemah
• regularisasi
• penyusutan
• prior horseshoe
• Bayesian Lasso
• prior skala
• pemisahan

Key theories

Regularisasi melalui prior

Prior dengan skala terbatas memberikan penalti pada estimasi ekstrem, mengurangi varians dan mencegah masalah pemisahan; banyak estimator likelihood yang dipenalti sesuai dengan modus posterior di bawah prior tertentu.

Penyusutan global-lokal

Prior sparsitas seperti horseshoe menggunakan skala lokal berekor tebal dan skala global sehingga koefisien kecil menyusut kuat sementara sinyal besar terhindar dari penyusutan.

Clinical relevance

Prior regularisasi menstabilkan estimasi dalam masalah berdimensi tinggi dan jarang (sparse) seperti genomik dan pemilihan biomarker, serta mencegah estimasi yang menyimpang ketika data hanya mengidentifikasi parameter secara lemah.

History

Ketika komputasi Bayesian menjadi rutin pada tahun 2000-an, perhatian beralih dari prior 'noninformatif' yang datar ke prior default informasi lemah yang meningkatkan inferensi dan pengambilan sampel. Prior sparsitas, termasuk Bayesian Lasso dan estimator horseshoe tahun 2010, memperluas pemikiran ini ke regresi berdimensi tinggi.

Debates

Seberapa lemah seharusnya prior default?

Ada diskusi berkelanjutan tentang bagaimana menetapkan skala prior informasi lemah agar meregularisasi secara berguna tanpa secara tidak sengaja membiaskan kesimpulan pada skala yang relevan.

Key figures

• Andrew Gelman
• Nicholas Polson
• James Scott
• Carlos Carvalho

Seminal works

• gelman2008
• carvalho2010

Frequently asked questions

Apa perbedaan prior informasi lemah dengan prior noninformatif?

Prior noninformatif berusaha menambahkan informasi sesedikit mungkin dan mungkin tidak tepat, sementara prior informasi lemah adalah tepat dan sengaja menambahkan informasi ringan untuk mengecualikan nilai yang tidak masuk akal dan menstabilkan analisis.