Hiperprior dan Penciutan (Shrinkage)

Hiperprior adalah prior yang ditempatkan pada parameter tingkat atas dari model hierarkis, dan mereka mengontrol seberapa kuat estimasi kelompok diciutkan menuju rata-rata populasi.

Definition

Hiperprior adalah distribusi prior pada hiperparameter yang mengatur distribusi parameter tingkat kelompok; bersama dengan data, ia menentukan posterior untuk varians tingkat kelompok dan karenanya tingkat penciutan yang diterapkan pada setiap kelompok.

Scope

Topik ini mencakup spesifikasi prior untuk rata-rata hierarkis dan terutama komponen varians, cara varians tingkat kelompok mengatur penciutan, bahaya posterior degeneratif dari prior varians yang buruk, dan pilihan informatif lemah yang direkomendasikan seperti prior half-Cauchy dan half-normal.

Core questions

• Mengapa varians tingkat kelompok mengontrol jumlah penciutan?
• Apa yang salah ketika prior yang tidak tepat digunakan untuk komponen varians?
• Hiperprior informatif lemah mana yang direkomendasikan untuk parameter skala?
• Bagaimana penciutan berhubungan dengan hasil Stein dan Bayes empiris?

Key concepts

• hiperprior
• komponen varians
• prior half-Cauchy
• prior inverse-gamma
• penciutan (shrinkage)
• estimator James-Stein
• posterior degeneratif

Key theories

Prior komponen varians

Hiperprior pada standar deviasi tingkat kelompok sangat memengaruhi inferensi ketika kelompok sedikit; prior folded-noncentral dan half-Cauchy menghindari patologi pilihan inverse-gamma konvensional.

Penciutan sebagai pengurangan risiko

Menciutkan banyak estimasi terkait menuju pusat yang sama menurunkan total kesalahan kuadrat rata-rata, prinsip yang sama yang membuat estimator James-Stein mendominasi rata-rata sampel.

Clinical relevance

Hiperprior yang masuk akal mencegah estimasi variasi antar-kelompok yang terlalu percaya diri atau tidak stabil dalam meta-analisis dan studi multi-situs, di mana jumlah kelompok seringkali kecil dan varians sulit diestimasi.

History

Estimasi penciutan berkembang dari hasil Stein tahun 1956 dan karya Bayes empiris oleh Efron dan Morris pada tahun 1970-an. Analisis Gelman tahun 2006 tentang prior parameter varians memperjelas bagaimana pilihan hiperprior membentuk penciutan dalam model hierarkis Bayesian penuh.

Debates

Prior mana untuk varians tingkat kelompok?

Prior inverse-gamma konvensional dapat secara tidak sengaja informatif mendekati nol, sehingga ada diskusi berkelanjutan tentang prior skala half-Cauchy, half-normal, dan informatif lemah lainnya.

Key figures

• Andrew Gelman
• Bradley Efron
• Carl Morris
• Charles Stein

Seminal works

• gelman2006
• efron1975

Frequently asked questions

Mengapa tidak menggunakan prior datar pada varians tingkat kelompok?

Prior datar atau inverse-gamma bawaan dapat menempatkan bobot berlebihan mendekati nol atau gagal menjadi proper, menghasilkan posterior yang runtuh atau tidak stabil ketika kelompok sedikit; prior skala informatif lemah seperti half-Cauchy berperilaku lebih andal.