Beklenti Yayılımı (EP)
Expectation Propagation for Approximate Bayesian Inference · Ayrıca şöyle bilinir: EP, expectation propagation, EP algorithm, assumed-density filtering generalisation
Beklenti Yayılımı (EP), Thomas P. Minka tarafından UAI 2001'de tanıtılan, Bayes modellerinde yaklaşık sonsal çıkarım için deterministik bir mesaj geçirme algoritmasıdır. Bu algoritma, her biri üstel aileden alınan yerel yaklaşık çarpanlar kümesini yinelemeli olarak iyileştirir; böylece bu çarpanların çarpımı, gerçek, çözülemez sonsal ile yakından eşleşir ve birçok olasılıksal makine öğrenmesi görevinde ortalama alan varyasyonel çıkarımdan daha yüksek doğruluk elde eder.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
Ne zaman kullanılır
Sonsal analitik olarak çözülemez olduğunda ve ortalama alan varyasyonel çıkarımın sağlayabileceğinden daha doğru bir yaklaşıma ihtiyaç duyduğunuzda — özellikle gerçek sonsalın ortalama alanın yanlış bir şekilde göz ardı edeceği önemli marjinal korelasyonlara sahip olduğu durumlarda EP kullanın. EP, özellikle Gauss önseline eşlenik olmayan ancak yine de çözülebilir moment integrallerine izin veren olabilirlik terimlerine sahip modeller için uygundur: olasılıksal/lojistik regresyon, Gauss süreci sınıflandırması, Student-t sağlam regresyonu ve seyrek Bayes modelleri. Deterministik bir yöntemdir, bu nedenle MCMC'den daha hızlı ve daha tekrarlanabilirdir, ancak moment integrallerinin kapalı formda veya kadratur ile hesaplanabilir olmasını gerektirir. Sonsal, tek modlu üstel aile yaklaşımının yakalayamayacağı şekillerde gerçekten çok modlu olduğunda EP doğru seçim değildir.
Güçlü yönler & sınırlılıklar
- Ortalama alan varyasyonel çıkarımdan birçok model için daha doğrudur çünkü EP, dağılımın altını örtmeye teşvik eden ters KL'yi en aza indirmek yerine momentleri eşleştirir.
- Deterministik ve genellikle MCMC'den daha hızlı yakınsar, aynı zamanda iyi davranan sonsallarda MCMC düzeyindeki yöntemlerle aynı fikirde olacak belirsizlik tahminleri sağlar.
- Normalleştirme sabitleri Z_i'nin bir yan ürünü olarak marjinal olabilirlik (model kanıtı) için tutarlı bir yaklaşım sağlar, bu da Bayes model karşılaştırmasına olanak tanır.
- Yüksek derecede modüler: her çarpan bağımsız olarak güncellenir, bu nedenle yeni olabilirlik terimleri tüm algoritmayı yeniden tasarlamadan dahil edilebilir.
- Yakınsama garanti edilmez; EP, özellikle güçlü çok modlu veya ağır kuyruklu sonsallara sahip modellerde yakınsamayı başaramayabilir veya salınabilir.
- Eğik dağılımın moment integrallerinin hesaplanabilir olmasını gerektirir — analitik olarak veya düşük boyutlu sayısal kadratur ile — bu da uygulanabilir modellerin sınıfını sınırlar.
- Üstel aile kısıtlaması, q'nun tek modlu (örneğin Gauss) olmasını zorlar, bu nedenle EP gerçekten çok modlu sonsalları temsil edemez.
- Başlatmaya ve güncelleme sırasına duyarlı olabilir; pratikte yakınsama davranışı dikkatlice izlenmelidir.
SSS
EP, ortalama alan varyasyonel çıkarımdan nasıl farklıdır?
Ortalama alan VI, yaklaşımdaki tüm gizli değişkenlerin karşılıklı olarak bağımsız olduğunu varsayar ve KL ıraksamasını KL(q || p) en aza indirir, bu da yaklaşımın gerçek sonsalın kuyruklarını yetersiz örtmesini ve korelasyonları göz ardı etmesini teşvik eder. EP bunun yerine her çarpan için yerel olarak KL(p̃ || q)'yu en aza indirir, bu da momentleri eşleştirir ve sonsalın aşırı örtülmesine eğilimlidir, daha doğru marjinal varyanslar üretir. Pratikte EP birçok model için ortalama alandan daha doğrudur ancak uygulaması daha az basittir ve her zaman yakınsak değildir.
EP yakınsamayı garanti eder mi?
Hayır. Küresel bir kanıt alt sınırı optimize eden ve bu nedenle her zaman yerel bir minimuma yakınsayan ortalama alan VI'nin aksine, EP'nin küresel bir yakınsama garantisi yoktur. Bazı modellerde salınabilir veya negatif (geçersiz) varyanslar üretebilir. Güç EP (Minka 2004), dayanıklılığı artıran bir sönümleme parametresi α tanıtır. Pratikte, sönümlenmiş güncellemeler ve çarpan parametrelerinin dikkatli izlenmesi, yakınsamayı yönetmek için kullanılır.
Yaklaşık sonsal dışında EP bana ne verir?
EP, her çarpan güncellemesi için Z_i normalleştirme sabitlerini izler. Bunların çarpımı, Bayes model seçiminde ve hiperparametre optimizasyonunda kullanılan nicelik olan marjinal olabilirlik p(veri) — model kanıtını — yaklaştırır. Bu, marjinal olabiliği tahmin etmek için pahalı termal entegrasyon gerektiren MCMC'ye göre önemli bir pratik avantajdır.
Ne zaman MCMC yerine EP'yi tercih etmeliyim?
Sonsal gerçekten çok modlu olduğunda veya bir yaklaşım yerine kesin (asemptotik) sonsal örneklerine ihtiyaç duyduğunuzda MCMC'yi seçin. EP deterministiktir ve daha hızlıdır ancak tek modlu üstel aile yaklaşımlarıyla sınırlıdır. Yaklaşım kalitesinin belirsiz olduğu yüksek riskli çıkarımlar için MCMC, EP sonuçlarının doğrulanabileceği bir temel gerçek referansı sağlar.
Kaynaklar
- Minka, T. P. (2001). Expectation propagation for approximate Bayesian inference. In Proceedings of the Seventeenth Conference on Uncertainty in Artificial Intelligence (UAI-01), pp. 362–369. Morgan Kaufmann. link ↗
- Minka, T. P. (2001/2013). Expectation propagation for approximate Bayesian inference. arXiv:1301.2294 [cs.AI]. link ↗
- Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer. (Chapter 10: Approximate Inference; Section 10.7 covers Expectation Propagation.) ISBN: 978-0387310732
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Expectation Propagation for Approximate Bayesian Inference. ScholarGate. https://scholargate.app/tr/bayesian/expectation-propagation
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- Laplace YaklaşımıBayesçi↔ karşılaştır
- Markov Chain Monte Carlo (MCMC)Bayesçi↔ karşılaştır
- Varyasyonel ÇıkarımBayesçi↔ karşılaştır