Hamiltonian Monte Carlo
Hamiltonian Monte Carlo Sampling · Ayrıca şöyle bilinir: HMC, Hybrid Monte Carlo, NUTS, No-U-Turn Sampler, gradient-based MCMC
Hamiltonian Monte Carlo (HMC), log-son-olabilirlik yüzeyinin geometrisini kullanarak, klasik MCMC'nin küçük rastgele adımları yerine parametre uzayında büyük, bilgilendirilmiş sıçramalar yapan, gradyan tabanlı bir Markov zinciri Monte Carlo algoritmasıdır. Orijinal olarak Duane, Kennedy, Pendleton ve Roweth (1987) tarafından Hibrit Monte Carlo adı altında kafes alan teorisi için tanıtılan ve Radford Neal'ın yetkili 2011 bölümüyle ana akım istatistiğe getirilen HMC, bugün Stan ve PyMC'de varsayılan örnekleyici olup, yüksek boyutlu modellerde Bayesçi son-sonluluk çıkarımı için en gelişmiş motor olarak kabul edilmektedir.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
+15 tane daha
Ne zaman kullanılır
HMC, (1) son-olabilirlik tüm parametrelere göre sürekli ve türevlenebilir olduğunda — gradyan hesaplaması için gerekli bir koşul; (2) parametre uzayı orta ila yüksek boyutlu olduğunda, tipik olarak d > 5, rastgele yürüyüş örnekleyicilerinin geometrik olarak verimsiz hale geldiği; ve (3) parametreler korelasyonlu olduğunda veya son-olabilirlik karmaşık bir eğriliğe sahip olduğunda doğru son-olabilirlik geometrisinin önemli olduğu durumlarda tercih edilen örnekleyicidir. HMC, ayrık parametreler (gradyanı olmayan) için uygun değildir ve daha basit örnekleyicilere göre adım başına daha fazla hesaplama gerektirir, bu nedenle düşük boyutlu veya kolayca faktörlenebilir son-olabilirlik durumları için gereksizdir. Stan ve PyMC'de varsayılan olan No-U-Turn Sampler (NUTS) uzantısı, leapfrog adımlarının sayısını L manuel olarak ayarlama ihtiyacını ortadan kaldırarak HMC'yi uzman ayarı olmadan pratik hale getirir.
Güçlü yönler & sınırlılıklar
- Rastgele yürüyüş davranışını bastırır: gradyan güdümlü öneriler, son-olabilirliği büyük, bilgilendirilmiş adımlarla kat eder, düşük otokorelasyon ve gradyan değerlendirmesi başına yüksek etkili örnek sayısı sağlar.
- Boyutla iyi ölçeklenir: ampirik ve teorik sonuçlar, HMC karışım süresinin rastgele yürüyüş Metropolis'in O(d) süresine karşılık O(d^{1/4}) olarak büyüdüğünü gösterir, bu da onu yüksek boyutlu son-olabilirlik durumları için tercih edilen yöntem haline getirir.
- Metropolis düzeltmesi, leapfrog entegratöründeki adım boyutu hatalarından bağımsız olarak hedef son-olabilirlikten tam örneklemeyi garanti eder.
- NUTS, leapfrog yörünge uzunluğunun manuel ayarını ortadan kaldırırken HMC'nin istatistiksel garantilerini korur.
- Stan, PyMC, NumPyro ve TensorFlow Probability'de zengin yakınsama tanılarıyla tam olarak uygulanmış ve üretimde test edilmiştir.
- Sürekli, türevlenebilir log-son-olabilirlik gerektirir; marjinalleştirme veya gömme gibi ek teknikler olmadan ayrık gizli değişkenlere sahip modellere doğrudan uygulanamaz.
- Her leapfrog adımı, tam log-son-olabilirliğin bir gradyan değerlendirmesini gerektirir; bu, mini-batching olmadan büyük veri kümeleri için maliyetli olabilir (stokastik gradyanlar ayrıntılı dengeyi bozar ve dikkatli düzeltme gerektirir).
- Performans, kütle matrisi M ve adım boyutu ε'ye duyarlıdır; kötü ölçeklenmiş son-olabilirlik durumları (örn. yüksek korelasyonlu veya huni şeklinde geometriler) yeniden parametrelendirme veya adaptasyon gerektirir.
- Karmaşık geometriler için ısınma (adaptasyon) aşaması uzun sürebilir ve toplam hesaplama bütçesinin önemli bir kısmını tüketebilir.
SSS
Her ikisi de hedef son-olabilirliğe yakınsayan bir Markov zinciri oluşturan MCMC algoritmalarıdır, ancak önerilerin nasıl üretildiği konusunda farklılık gösterirler. Metropolis–Hastings, mevcut duruma merkezlenmiş basit bir rastgele yürüyüş önerisi kullanır; bu, yüksek boyutlarda difüzif keşif ve yüksek otokorelasyona yol açar. HMC, önerileri neredeyse sabit enerji yörüngeleri boyunca yönlendirmek için log-son-olabilirliğin gradyanını kullanır, uzak, yüksek olasılıklı öneriler ve çok daha düşük otokorelasyon üretir. HMC'deki Metropolis kabul adımı sayısal entegrasyon hatasını telafi eder, bu nedenle her iki algoritma da tam örneklemeden aynı teorik garantiye sahiptir.
NUTS nedir ve HMC ile nasıl bir ilişkisi vardır?
Hoffman ve Gelman (2014) tarafından tanıtılan No-U-Turn Sampler (NUTS), kaç tane leapfrog adımı atılacağını otomatik olarak belirleyen HMC'nin uyarlanabilir bir uzantısıdır; bu, bir ikili ağaç yörünge segmentleri oluşturarak ve yörünge kendi üzerine geri dönmeye başladığında ('U-dönüşü' kriteri) durarak yapılır. Bu, en hassas HMC hiperparametresi olan adım sayısı L'yi manuel olarak ayarlama ihtiyacını ortadan kaldırır. NUTS, Stan ve PyMC'deki varsayılan örnekleyicidir ve manuel yörünge ayarı olmadan HMC kalitesinde örnekler sunar.
Diverjan geçişler ne anlama gelir ve onlarla ne yapılmalıdır?
Bir diverjan geçiş, leapfrog entegratörünün büyük bir sayısal hata yapması durumunda meydana gelir; bu genellikle son-olabilirlikte çok yüksek eğriliğe sahip bir bölgeye girmesi nedeniyle olur — adım boyutunun yerel geometriye göre çok büyük olduğunun bir işaretidir. Sapmalar sadece sayısal bir sorun değildir; örnekleyicinin son-olabilirliğin bir bölümünü sadakatle keşfetmediğini gösterirler. Önerilen çözüm, adım boyutunu basitçe azaltmak yerine, modelin yeniden parametrelendirilmesidir (örn. hiyerarşik modeller için merkezlenmemiş bir parametrelendirme kullanmak), çünkü altta yatan geometrik sorun devam edecektir.
HMC ayrık parametrelerle kullanılabilir mi?
Standart HMC gradyanları gerektirir ve bu nedenle ayrık parametrelere doğrudan uygulanamaz. Önerilen yaklaşım, Stan'ın gerektirdiği gibi örneklemeden önce ayrık parametreleri analitik olarak modelden marjinalleştirmektir. Alternatif olarak, sürekli gevşetmeler veya yardımcı değişken şemaları, ayrık yapıyı türevlenebilir bir çerçeveye gömebilir. PyMC, sürekli blok için NUTS ile karıştırılmış Gibbs adımları aracılığıyla bazı ayrık değişkenleri destekler.
StatWise'da kendi Bayesçi modelinizde doğrudan Hamiltonian Monte Carlo çalıştırın — olasılık fonksiyonunuzu ve önsel bilgilerinizi belirtin, yerleşik NUTS/HMC motoruyla son-olabilirliği örnekleyin ve tek bir iş akışında son-olabilirlik özetlerini, iz grafiklerini, R-hat yakınsama tanılarını ve son-olabilirlik öngörüsel kontrollerini gözden geçirin.
Kaynaklar
- Duane, S., Kennedy, A. D., Pendleton, B. J., & Roweth, D. (1987). Hybrid Monte Carlo. Physics Letters B, 195(2), 216–222. DOI: 10.1016/0370-2693(87)91197-X ↗
- Neal, R. M. (2011). MCMC using Hamiltonian dynamics. In S. Brooks, A. Gelman, G. L. Jones, & X.-L. Meng (Eds.), Handbook of Markov Chain Monte Carlo (pp. 116–162). Chapman and Hall/CRC. ISBN: 978-1420079418 ↗
- Gelman, A., Carlin, J. B., Stern, H. S., Dunson, D. B., Vehtari, A., & Rubin, D. B. (2013). Bayesian Data Analysis (3rd ed.). CRC Press. ISBN: 978-1439840955
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Hamiltonian Monte Carlo Sampling. ScholarGate. https://scholargate.app/tr/bayesian/hamiltonian-monte-carlo
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- Bayes RegresyonuBayesçi↔ karşılaştır
- Markov Chain Monte Carlo (MCMC)Bayesçi↔ karşılaştır
- Varyasyonel ÇıkarımBayesçi↔ karşılaştır