Bayesçi Hesaplama ve MCMC
Bayesçi hesaplama, kapalı formda değerlendirilemeyen sonsal dağılımlardan örnekler çekerek çıkarımı pratik hale getirmektedir; bu genellikle Markov zinciri Monte Carlo yöntemleri aracılığıyla gerçekleştirilmektedir.
Tanım
Bayesçi hesaplama, sonsal dağılımları ve bunlar üzerinden alınan beklentileri yaklaştırmak için kullanılan sayısal yöntemler bütünüdür; Markov zinciri Monte Carlo, durağan dağılımı hedef sonsal dağılım olan bir Markov zinciri oluşturarak, örneklerinin çıkarım için kullanılmasını sağlamaktadır.
Kapsam
Bu alan, modern Bayesçi analizi güçlendiren algoritmaları kapsamaktadır: Metropolis-Hastings çerçevesi, Gibbs örneklemesi, gradyan tabanlı Hamiltoniyen Monte Carlo ve deterministik varyasyonel yaklaşımlar; bunlarla birlikte çıktılarını güvenilir kılan yakınsama teşhisleri ve Monte Carlo hata değerlendirmesi de incelenmektedir.
Alt konular
Temel sorular
- Sadece normalleştirme sabitine kadar bilinen bir sonsal dağılımdan örnekler nasıl çekilebilir?
- Metropolis-Hastings ve Gibbs örneklemesi, doğru durağan dağılıma sahip zincirleri nasıl oluşturmaktadır?
- Gradyan bilgisi, Hamiltoniyen Monte Carlo'nun yüksek boyutlu sonsal dağılımları verimli bir şekilde keşfetmesini nasıl sağlamaktadır?
- Varyasyonel çıkarım gibi deterministik yaklaşımlar, örneklemeye ne zaman tercih edilmektedir?
- Bir MCMC örnekleyicisinin yakınsaması nasıl teşhis edilmekte ve Monte Carlo hatası nasıl nicelleştirilmektedir?
Anahtar kavramlar
- Markov zinciri Monte Carlo
- durağan dağılım
- detaylı denge
- ısınma süresi (burn-in)
- karışım (mixing)
- etkin örneklem büyüklüğü
- yakınsama teşhisleri
- Monte Carlo standart hatası
Temel kuramlar
- Markov zinciri Monte Carlo
- Değişmez dağılımı sonsal olan bir Markov zinciri oluşturarak, MCMC çözülemeyen entegrasyonu bir zincir üzerinde simülasyon ve ortalama alma problemine dönüştürmektedir.
- Detaylı denge
- Hedef dağılıma göre tersine çevrilebilirlik, bir örnekleyicinin sonsal dağılımı değişmez bırakmasını garanti eden standart yeterli koşuldur ve Metropolis-Hastings ile Gibbs yöntemlerinin temelini oluşturmaktadır.
- Yakınsama teşhisleri
- Pratik çıkarım, zincirlerin durağan dağılıma ulaşıp ulaşmadığını ve bu dağılım boyunca karışıp karışmadığını değerlendirmek için potansiyel ölçek küçültme faktörü ve etkin örneklem büyüklüğü gibi teşhislere dayanmaktadır.
Klinik önem
MCMC ve ilgili hesaplama yöntemleri, sonsal dağılımların analitik bir formu olmadığı popülasyon farmakokinetiği ve genetikten kozmoloji ve ekolojiye kadar bilimin birçok alanında gerçekçi hiyerarşik ve doğrusal olmayan modellerin uyarlanmasını mümkün kılmaktadır.
Tarihçe
Metropolis algoritması (1953) ve Hastings'in genellemesi (1970) fizikte ortaya çıkmıştır; Geman ve Geman'ın Gibbs örnekleyicisi (1984) ile Gelfand ve Smith'in 1990 tarihli makalesi bu yöntemleri ana akım istatistiğe taşımış, Hamiltoniyen Monte Carlo ve varyasyonel yöntemlerle devam eden Bayesçi hesaplama devrimini tetiklemiştir.
Tartışmalar
- Örnekleme ve deterministik yaklaşım karşılaştırması
- MCMC, yüksek hesaplama maliyetiyle asimptotik olarak kesin örnekler sunarken, varyasyonel çıkarım hızlı ancak yaklaşıktır; doğruluk ve ölçeklenebilirlik arasındaki denge aktif bir endişe kaynağı olmaya devam etmektedir.
Öne çıkan isimler
- Nicholas Metropolis
- W. Keith Hastings
- Stuart Geman
- Donald Geman
- Radford Neal
İlgili konular
Temel eserler
- robert2004
- brooks2011
- gelman2013
Sıkça sorulan sorular
- MCMC'ye neden ihtiyaç duyulmaktadır?
- Çoğu gerçekçi model için sonsal dağılımın kapalı bir formu bulunmamakta ve normalleştirme sabiti çözülemeyen yüksek boyutlu bir integral olmaktadır; MCMC, sadece normalleştirilmemiş yoğunluğunu kullanarak sonsal dağılımdan örnekler üreterek bu durumu aşmaktadır.
- Bir MCMC çalışmasının yakınsadığını nasıl anlarım?
- Yakınsama, birden fazla zincirdeki potansiyel ölçek küçültme faktörü, iz grafikleri ve etkin örneklem büyüklüğü gibi teşhislerle değerlendirilmektedir; ancak bunlar yakınsama başarısızlığını tespit edebilse de yakınsamayı kesin olarak asla kanıtlayamamaktadır.