Gibbs Örneklemesi
Gibbs örneklemesi, bir posterior dağılımını, her bir parametreyi diğer tüm parametreler verildiğinde tam koşullu dağılımından sırayla güncelleyerek keşfetmektedir.
Tanım
Gibbs örneklemesi, parametre vektörünün bileşenleri arasında döngüsel olarak ilerleyen bir MCMC yöntemidir; her bir bileşeni, diğer tüm bileşenlerin mevcut değerleri verildiğinde koşullu posterior dağılımından çekerek, durağan dağılımı ortak posterior olan bir zincir üretmektedir.
Kapsam
Bu konu, Gibbs örnekleyicisini tanımlayan tam koşullu güncellemeleri, Metropolis-Hastings yönteminin kabul olasılığı bir olan özel bir durumu olarak konumunu, işlenebilir koşullu dağılımlar oluşturmak için veri artırımının (data augmentation) kullanımını ve karışımı (mixing) iyileştiren bloklama ve çökertme (collapsing) stratejilerini kapsamaktadır.
Temel sorular
- Tam koşullu dağılımlar nelerdir ve Gibbs örneklemesinde nasıl kullanılmaktadırlar?
- Gibbs örneklemesi neden Metropolis-Hastings yönteminin özel bir durumudur?
- Veri artırımı (data augmentation) işlenebilir koşullu dağılımları nasıl oluşturmaktadır?
- Bloklama ve çökertme (collapsing) örnekleyicinin verimliliğini nasıl artırmaktadır?
Anahtar kavramlar
- tam koşullu dağılım
- veri artırımı (data augmentation)
- bloklama
- çökertme (collapsing)
- gizli değişkenler
- bileşen bazında güncelleme
Temel kuramlar
- Tam koşullu güncelleme
- Her bir parametreyi tam koşullu dağılımından örneklemek, ortak posterior dağılımını değişmez bırakmaktadır; koşullu dağılımlar eşlenik (conjugate) olduğunda güncellemeler kapalı formda olmakta ve kabul otomatik olarak gerçekleşmektedir.
- Veri artırımı (Data augmentation)
- Gizli değişkenlerin tanıtılması, aksi takdirde işlenemez olan koşullu dağılımları standart hale getirebilmekte, karışımlar ve probit modelleri gibi zor problemleri basit Gibbs güncellemelerine dönüştürmektedir.
Klinik önem
Gibbs örneklemesi, hiyerarşik ve gizli değişkenli modelleri rutin hale getirmiş olup, biyoistatistik ve sosyal bilimlerde uygulamalı Bayesçi modelleme için BUGS ve JAGS gibi yaygın olarak kullanılan yazılımların temelini oluşturmaktadır.
Tarihçe
Geman ve Geman, Gibbs örnekleyicisini 1984 yılında görüntü restorasyonu için tanıtmış ve adını istatistiksel fizikteki Gibbs dağılımlarından almıştır. Gelfand ve Smith'in 1990 tarihli makalesi, Bayesçi çıkarıma geniş uygulanabilirliğini göstererek yaygın bir benimsenmeyi tetiklemiştir.
Tartışmalar
- Güçlü bağımlılık altında yavaş karışım
- Bileşen bazında Gibbs güncellemeleri, parametreler yüksek oranda ilişkili olduğunda kötü karışabilmekte, bu da yeniden parametrelendirme, bloklama veya gradyan tabanlı alternatifleri teşvik etmektedir.
Öne çıkan isimler
- Stuart Geman
- Donald Geman
- Alan Gelfand
- Adrian Smith
İlgili konular
Temel eserler
- geman1984
- gelfand1990
Sıkça sorulan sorular
- Gibbs örneklemesi ne zaman iyi bir seçenektir?
- Gibbs örneklemesi, birçok hiyerarşik ve gizli değişkenli model gibi eşlenik veya başka şekilde standart tam koşullu dağılımlara sahip modellere iyi uymaktadır, ancak parametreler güçlü bir şekilde ilişkili olduğunda yavaş karışabilmektedir.