Gibbs Örneklemesi
Gibbs Sampling Markov Chain Monte Carlo · Ayrıca şöyle bilinir: Gibbs sampler, coordinate-wise MCMC, systematic scan Gibbs, blocked Gibbs sampling
Gibbs örneklemesi, her bir parametreyi, diğer tüm parametreler ve veri verildiğinde tam koşullu dağılımından tekrarlı olarak çekerek yüksek boyutlu bir sonsal dağılımı yaklaştıran bir Markov zinciri Monte Carlo algoritmasıdır. Her çekim, bir öneri olup reddedilebilen bir öneri değil, koşullu dağılımdan tam olarak yapıldığı için, bu koşullu dağılımlar kapalı formda mevcut olduğunda örnekleyici verimlidir.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
+23 tane daha
Ne zaman kullanılır
Ortak sonsal dağılımın hesaplanamaz olduğu ancak tüm tam koşullu dağılımların kapalı formda türetilebildiği durumlarda Gibbs örneklemesini kullanın — bu, Normal-Ters-Gamma önseli ile Bayesçi doğrusal regresyon, Gauss karışım modelleri ve Latent Dirichlet Tahsisi gibi konjuge Bayesçi modellerle tipik durumdur. Ayrıca, parametrelerin işlenebilir koşullu dağılımlara sahip bloklara doğal olarak ayrıldığı durumlarda, bloklanmış bir Gibbs stratejisine izin verdiği için kullanışlıdır. Tam koşullu dağılımların analitik olarak hesaplanamadığı durumlarda Gibbs örneklemesinden kaçının (bunun yerine Metropolis-Hastings veya HMC kullanın), sonsalda parametrelerin yüksek derecede ilişkili olduğu durumlarda (yavaş karışmaya neden olur ve çok daha fazla yineleme gerektirir) veya parametre uzayının konjuge olmayan olabilirliklerle çok yüksek boyutlu olduğu durumlarda.
Güçlü yönler & sınırlılıklar
- Önerilen her çekim kabul edilir, bu nedenle Metropolis-Hastings'teki reddetmelerden kaynaklanan boşa harcanan bir hesaplama yoktur.
- Konjuge modeller için uygulanması basittir: her adım, adlandırılmış bir dağılımdan doğrudan bir çekimdir.
- Birçok koşullu olarak bağımsız parametreye sahip modellere (örneğin, konu modelleri, durum-uzay modelleri) zarif bir şekilde ölçeklenir.
- Bloklanmış Gibbs, ilişkili parametreleri gruplandırarak karışmayı önemli ölçüde iyileştirebilir.
- Kavramsal olarak şeffaftır: algoritma doğrudan modelin koşullu yapısına eşlenir.
- Analitik olarak işlenebilir tam koşullu dağılımlar gerektirir; konjuge olmayan modeller yardımcı-değişken artırma veya hibrit yöntemler gerektirir.
- Yüksek derecede ilişkili parametreler yavaş karışmaya neden olur: zincir birçok küçük adım atar ve sonsalın keşfedilmesi için çok daha fazla yineleme gerektirir.
- Koordinat bazlı güncellemenin seri doğası, HMC gibi gradyan tabanlı örnekleyicilere kıyasla çok yüksek boyutlarda yavaş olabilir.
- Yakınsama tespit etmek zor olabilir; kötü başlatılmış veya kötü karışmış zincirler yanlı sonsal özetler üretir.
SSS
Neden Gibbs örneklemesi her zaman kabul eder? Çok mu iyi görünüyor?
Gibbs çekimleri doğru koşullu dağılımdan tam olarak yapılır, bu nedenle kabul olasılığı yapı gereği her zaman 1'dir — çekimin kendisinde bir yaklaştırma yoktur. Uyarı, bunun yalnızca tam koşullu dağılımın analitik olarak mevcut olduğu ve verimli bir şekilde örneklenerek çekilebildiği durumlarda işe yaradığıdır; yapılamadığında, örnekleyici içinde bir Metropolis adımı kullanmak gerekir.
Gibbs örneklemesi Metropolis-Hastings ile nasıl ilişkilidir?
Gibbs örneklemesi, her önerinin koşullu dağılımdan tam olarak çekildiği ve kabul oranının tam olarak 1 olduğu Metropolis-Hastings'in özel bir durumudur. Pratikte ikisi genellikle birleştirilir: bir Metropolis-içinde-Gibbs şeması, koşullu dağılımları standart olmayan dağılımlar olmayan parametreler için Metropolis adımlarını kullanır.
Kaç tane yanma süresi yinelemesi gerekir?
Evrensel bir kural yoktur. Dağılmış başlangıç noktalarından birden çok zincir çalıştırın ve R-hat (yaklaşık 1.01'in altındaki değerler güvence verir) ve iz grafiklerini izleyin. İyi koşullandırılmış modeller için birkaç yüz ila birkaç bin yineleme tipiktir, ancak güçlü ilişkili veya kötü belirtilmiş modeller on binlerce gerektirebilir.
Neden HMC yerine Gibbs kullanmalıyım?
Modeliniz konjuge olmayan olabilirliklere, güçlü sonsal korelasyonlara veya sürekli yüksek boyutlu bir parametre uzayına sahip olduğunda Hamilton Monte Carlo'yu tercih edin. HMC, büyük, bilgilendirilmiş sıçramalar yapmak için gradyan bilgisini kullanır ve bu ortamlarda çok daha verimli bir şekilde karışır. Gibbs, konjuge koşullu dağılımların mevcut olduğu ve model yapısının doğal olarak işlenebilir bloklara ayrıldığı durumlarda tercih edilir.
Gibbs örneklemesini hangi yazılım uygular?
JAGS (Just Another Gibbs Sampler) ve WinBUGS/OpenBUGS, uygulamalı Bayesçi istatistikte yaygın olarak kullanılan özel Gibbs tabanlı örnekleyicilerdir. Stan, HMC/NUTS kullanır ancak özel örnekleyici mantığına da izin verir. Python'da PyMC ve NumPyro, diğer örnekleyicilerin yanı sıra Gibbs adımları sunar; R'de rjags ve R2jags paketleri JAGS ile arayüz oluşturur.
Kaynaklar
- Geman, S. & Geman, D. (1984). Stochastic relaxation, Gibbs distributions, and the Bayesian restoration of images. IEEE Transactions on Pattern Analysis and Machine Intelligence, 6(6), 721-741. DOI: 10.1109/TPAMI.1984.4767596 ↗
- Gelfand, A. E. & Smith, A. F. M. (1990). Sampling-based approaches to calculating marginal densities. Journal of the American Statistical Association, 85(410), 398-409. DOI: 10.1080/01621459.1990.10476213 ↗
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Gibbs Sampling Markov Chain Monte Carlo. ScholarGate. https://scholargate.app/tr/bayesian/gibbs-sampling
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- Bayes RegresyonuBayesçi↔ karşılaştır
- Hamiltonian Monte CarloBayesçi↔ karşılaştır
- Hiyerarşik Bayesci ÇıkarımBayesçi↔ karşılaştır
- Markov Chain Monte Carlo (MCMC)Bayesçi↔ karşılaştır
- Varyasyonel ÇıkarımBayesçi↔ karşılaştır