Hamiltonian Monte Carlo
Hamiltonian Monte Carlo, log-posterior'un gradyanlarını ve simüle edilmiş fiziksel dinamikleri kullanarak uzak, yüksek kabul oranlı hareketler önermekte ve yüksek boyutlarda verimli örneklemeyi mümkün kılmaktadır.
Tanım
Hamiltonian Monte Carlo, yardımcı momentum değişkenleri tanıtan, log-posterior'un gradyanını kullanarak Hamiltonian dinamiklerini simüle ederek yeni bir durum öneren ve sayısal entegrasyon hatasını düzelten bir Metropolis adımıyla bu durumu kabul eden bir MCMC yöntemidir.
Kapsam
Bu konu, posterior'un momentum değişkenleri ile artırılmasını, Hamiltonian dinamiklerinin leapfrog entegrasyonunu, ayrıklaştırma hatası için Metropolis düzeltmesini ve yol uzunluğu ile adım boyutu ayarlamasını otomatikleştiren No-U-Turn Sampler'ı kapsamaktadır.
Temel sorular
- Momentum değişkenleri ve Hamiltonian dinamikleri verimli önerileri nasıl üretmektedir?
- Leapfrog entegratörü nedir ve Metropolis düzeltmesi neden gereklidir?
- No-U-Turn Sampler, yörünge uzunluğunu manuel olarak ayarlama ihtiyacını nasıl ortadan kaldırmaktadır?
- HMC, yüksek boyutlarda rastgele yürüyüş yöntemlerinden neden daha iyi ölçeklenmektedir?
Anahtar kavramlar
- momentum değişkenleri
- leapfrog entegratörü
- Hamiltonian dinamikleri
- adım boyutu
- yörünge uzunluğu
- No-U-Turn Sampler
- log-posterior'un gradyanı
Temel kuramlar
- Örnekleme için Hamiltonian dinamikleri
- Hedefi Gauss momentumu ile artırmak ve hacim koruyan, enerji koruyan dinamikleri takip etmek, örnekleyicinin posterior'u yüksek kabul oranı ve ardışık durumlar arasında düşük korelasyon ile geçmesini sağlamaktadır.
- No-U-Turn Sampler
- NUTS, yolun geri dönmeye başlayana kadar uzatılmasıyla yörünge uzunluklarını otomatik olarak seçmekte ve bunu adım boyutu adaptasyonu ile birleştirerek manuel ayarlamaların çoğunu ortadan kaldırmaktadır.
Klinik önem
Hamiltonian Monte Carlo, özellikle NUTS aracılığıyla, Stan ve PyMC gibi olasılıksal programlama sistemlerinde varsayılan örnekleyici olup, farmakometri, ekoloji ve fizik bilimlerinde karmaşık hiyerarşik modellerin uyarlanabilir olmasını sağlamaktadır.
Tarihçe
Hibrit Monte Carlo, 1987 yılında Duane ve arkadaşları tarafından kafes kuantum kromodinamiği için tanıtılmıştır; Neal onu istatistik için uyarlamış ve popülerleştirmiştir; Hoffman ve Gelman'ın 2014 tarihli No-U-Turn Sampler'ı ise modern olasılıksal programlamanın temelini atarak genel kullanıcılar için pratik hale getirmiştir.
Tartışmalar
- Geometriye ve ayarlamaya duyarlılık
- HMC, güçlü eğimli veya çok modlu posterior'larla zorlanabilmekte ve gradyan bilgisi gerektirmektedir; bu durum Riemann manifold ve adaptif varyantlar üzerine çalışmalara yol açmaktadır.
Öne çıkan isimler
- Radford Neal
- Simon Duane
- Matthew Hoffman
- Andrew Gelman
- Michael Betancourt
İlgili konular
Temel eserler
- neal2011
- hoffman2014
Sıkça sorulan sorular
- HMC neden rastgele yürüyüş Metropolis'ten daha hızlıdır?
- Gradyan bilgisini kullanarak posterior'un konturlarını takip eden uzun yörüngeler önermek suretiyle, HMC yüksek kabul oranıyla neredeyse bağımsız örnekler üretmekte ve yüksek boyutlarda rastgele yürüyüş yöntemlerinin yavaş difüzyonel keşfini önlemektedir.
- HMC, daha basit örnekleyicilerin gerektirmediği neyi gerektirmektedir?
- Sürekli parametrelere göre log-posterior'un gradyanını gerektirmektedir; bu nedenle genellikle otomatik farklılaştırma ile eşleştirilmekte ve ayrık parametreleri doğrudan işleyememektedir.