Gibbs Sampling

Gibbs sampling mengeksplorasi posterior dengan memperbarui setiap parameter secara bergantian dari distribusi kondisional penuhnya, dengan mempertimbangkan semua parameter lainnya.

Definition

Gibbs sampling adalah metode MCMC yang berputar melalui komponen-komponen vektor parameter, mengambil sampel masing-masing dari distribusi posterior kondisionalnya berdasarkan nilai-nilai saat ini dari semua komponen lain, menghasilkan rantai yang distribusi stasionernya adalah posterior gabungan.

Scope

Topik ini mencakup pembaruan kondisional penuh yang mendefinisikan Gibbs sampler, statusnya sebagai kasus khusus Metropolis-Hastings dengan probabilitas penerimaan satu, penggunaan augmentasi data untuk menciptakan kondisional yang dapat ditangani, serta strategi pemblokiran (blocking) dan penggabungan (collapsing) yang meningkatkan pencampuran (mixing).

Core questions

• Apa itu distribusi kondisional penuh dan bagaimana penggunaannya dalam Gibbs sampling?
• Mengapa Gibbs sampling merupakan kasus khusus dari Metropolis-Hastings?
• Bagaimana augmentasi data menciptakan kondisional yang dapat ditangani?
• Bagaimana pemblokiran dan penggabungan meningkatkan efisiensi sampler?

Key concepts

• distribusi kondisional penuh
• augmentasi data
• pemblokiran
• penggabungan
• variabel laten
• pembaruan per komponen

Key theories

Pembaruan kondisional penuh

Pengambilan sampel setiap parameter dari kondisional penuhnya membuat posterior gabungan invarian; ketika kondisional bersifat konjugat, pembaruan memiliki bentuk tertutup dan penerimaan otomatis.

Augmentasi data

Memperkenalkan variabel laten dapat membuat kondisional yang tadinya tidak dapat ditangani menjadi standar, mengubah masalah sulit seperti campuran dan model probit menjadi pembaruan Gibbs yang mudah.

Clinical relevance

Gibbs sampling menjadikan model hierarkis dan variabel laten menjadi rutin, dan mendasari perangkat lunak yang banyak digunakan seperti BUGS dan JAGS untuk pemodelan Bayesian terapan dalam biostatistik dan ilmu sosial.

History

Geman dan Geman memperkenalkan Gibbs sampler pada tahun 1984 untuk restorasi citra, menamainya dari distribusi Gibbs dalam fisika statistik. Makalah Gelfand dan Smith tahun 1990 menunjukkan penerapannya yang luas pada inferensi Bayesian, memicu adopsi yang meluas.

Debates

Pencampuran lambat di bawah ketergantungan yang kuat

Pembaruan Gibbs per komponen dapat bercampur dengan buruk ketika parameter sangat berkorelasi, memotivasi reparameterisasi, pemblokiran, atau alternatif berbasis gradien.

Key figures

• Stuart Geman
• Donald Geman
• Alan Gelfand
• Adrian Smith

Seminal works

• geman1984
• gelfand1990

Frequently asked questions

Kapan Gibbs sampling merupakan pilihan yang baik?

Gibbs sampling sangat cocok untuk model dengan kondisional penuh yang konjugat atau standar lainnya, seperti banyak model hierarkis dan variabel laten, tetapi dapat bercampur lambat ketika parameter sangat berkorelasi.