Teorema Bayes dan Posterior

Teorema Bayes menyatakan distribusi posterior parameter yang tidak diketahui sebagai proporsional terhadap kemungkinan data dikalikan dengan prior, menyediakan mesin dari semua inferensi Bayesian.

Definition

Teorema Bayes menyatakan bahwa densitas posterior p(theta | y) sama dengan kemungkinan p(y | theta) dikalikan dengan prior p(theta) dibagi dengan kemungkinan marjinal p(y); karena p(y) tidak bergantung pada theta, posterior sering ditulis sebagai proporsional terhadap kemungkinan dikalikan dengan prior.

Scope

Topik ini mencakup pernyataan dan penurunan teorema Bayes untuk inferensi, bentuk proporsionalitas, kemungkinan marjinal yang menormalisasi posterior, dan bagaimana ringkasan seperti rata-rata posterior, interval kredibel, dan distribusi prediktif posterior diperoleh.

Core questions

• Bagaimana distribusi posterior diturunkan dari prior dan kemungkinan?
• Apa itu kemungkinan marjinal dan mengapa ia bertindak sebagai konstanta normalisasi?
• Bagaimana estimasi titik dan interval kredibel diekstraksi dari posterior?
• Apa itu distribusi prediktif posterior dan bagaimana cara menghitungnya?

Key concepts

• prior
• kemungkinan
• posterior
• kemungkinan marjinal
• interval kredibel
• distribusi prediktif posterior
• konstanta normalisasi

Key theories

Proporsionalitas posterior

Karena kemungkinan marjinal adalah konstan dalam parameter, inferensi hanya bergantung pada hasil kali kemungkinan dan prior hingga normalisasi, yang merupakan bentuk yang dieksploitasi oleh sebagian besar metode komputasi.

Distribusi prediktif posterior

Data masa depan atau data yang direplikasi diprediksi dengan merata-ratakan distribusi sampling di atas posterior, mengintegrasikan ketidakpastian parameter daripada memasukkan estimasi titik.

Clinical relevance

Inferensi posterior digunakan di mana pun kuantitas yang diminati harus diperkirakan dengan ketidakpastian yang terkalibrasi, termasuk interpretasi tes diagnostik, estimasi parameter dalam ilmu fisika, dan peramalan probabilistik.

History

Aturan ini berasal dari esai Bayes tahun 1763 dan digeneralisasi oleh Laplace menjadi metode probabilitas invers. Penekanan modern pada distribusi posterior penuh, daripada estimasi probabilitas invers tunggal, dikonsolidasikan dalam literatur Bayesian abad ke-20.

Key figures

• Thomas Bayes
• Pierre-Simon Laplace
• Harold Jeffreys

Seminal works

• gelman2013
• bayes1763

Frequently asked questions

Apa itu interval kredibel?

Interval kredibel adalah rentang yang berisi parameter dengan probabilitas posterior yang dinyatakan (misalnya 95%); tidak seperti interval kepercayaan frequentist, ini adalah pernyataan probabilitas langsung tentang parameter yang diberikan data dan prior.

Mengapa posterior dapat ditulis tanpa menghitung kemungkinan marjinal?

Kemungkinan marjinal adalah konstanta terhadap parameter, sehingga hanya mengubah skala posterior; banyak algoritma seperti MCMC hanya membutuhkan posterior hingga konstanta ini.