Estimasi Bayes dan Shrinkage

Estimator Bayes memadukan keyakinan awal (prior belief) dengan data untuk meminimalkan risiko rata-rata, dan estimator shrinkage memanfaatkan fakta mengejutkan bahwa menarik estimasi ke arah pusat dapat mendominasi estimator yang jelas.

Definition

Estimator Bayes meminimalkan kerugian yang diharapkan dirata-ratakan atas distribusi prior pada parameter; estimator shrinkage sengaja membiaskan estimasi menuju titik tetap atau rata-rata umum untuk mengurangi kesalahan kuadrat rata-rata (mean squared error) keseluruhannya.

Scope

Topik ini mencakup distribusi prior dan posterior, estimator Bayes sebagai rata-rata posterior di bawah kerugian kuadrat (squared-error loss) dan fungsi kerugian lainnya, hubungan antara risiko Bayes dan risiko frequentist, estimator James-Stein dan paradoks inadmisibilitas Stein dalam tiga dimensi atau lebih, Bayes empiris dan shrinkage hierarkis, serta pertukaran bias-varians yang membuat shrinkage menguntungkan.

Core questions

• Bagaimana estimator Bayes diturunkan dari distribusi posterior di bawah fungsi kerugian tertentu?
• Mengapa estimator James-Stein mendominasi rata-rata sampel dalam tiga dimensi atau lebih?
• Bagaimana Bayes empiris meminjam kekuatan (borrow strength) antar masalah estimasi yang terkait?
• Kapan bias yang diperkenalkan oleh shrinkage membuahkan hasil dalam pengurangan risiko?

Key theories

Estimator Bayes dan ekspektasi posterior

Di bawah kerugian kuadrat (squared-error loss), estimator Bayes adalah rata-rata posterior; untuk kerugian lainnya, itu adalah ringkasan posterior yang sesuai, dan itu meminimalkan risiko Bayes yang dirata-ratakan atas prior.

Paradoks Stein dan estimator James-Stein

Ketika mengestimasi tiga atau lebih rata-rata secara bersamaan, rata-rata sampel tidak dapat diterima (inadmissible) di bawah kerugian kuadrat, dan estimator James-Stein yang menyusut (shrinks) menuju titik umum memiliki risiko yang secara seragam lebih kecil.

Clinical relevance

Estimator shrinkage dan Bayes empiris meningkatkan akurasi ketika banyak kuantitas terkait diestimasi sekaligus, seperti dalam estimasi area kecil, peringkat olahraga dan pendidikan, genomik, serta regresi ridge dan teregulasi, di mana penggabungan informasi antar unit mengalahkan perlakuan setiap unit secara terpisah.

History

Stein menunjukkan pada tahun 1956 bahwa estimator biasa dari rata-rata normal multivariat tidak dapat diterima (inadmissible) dalam tiga dimensi atau lebih, dan James serta Stein menunjukkan estimator yang mendominasi pada tahun 1961. Efron dan Morris membingkai ulang hasil tersebut melalui Bayes empiris pada tahun 1970-an, menjadikan shrinkage sebagai alat praktis.

Key figures

• Charles Stein
• Willard James
• Bradley Efron
• James O. Berger

Seminal works

• berger1985

Frequently asked questions

Mengapa estimator bias lebih disukai?

Karena kesalahan kuadrat rata-rata (mean squared error) menggabungkan bias dan varians; bias kecil yang menghasilkan pengurangan varians yang besar dapat menurunkan total kesalahan, yang persis seperti yang dimanfaatkan oleh estimator shrinkage.

Apakah paradoks Stein benar-benar sebuah paradoks?

Ini lebih mengejutkan daripada kontradiktif: ini menunjukkan bahwa mengestimasi beberapa rata-rata yang tidak terkait ditingkatkan dengan menyusutkannya secara bersamaan, karena risiko gabungan, bukan setiap estimasi terpisah, adalah yang dikurangi.