Varyasyonel Çıkarım
Variational Bayesian Inference · Ayrıca şöyle bilinir: VI, variational Bayes, VB, mean-field variational inference, ELBO optimisation, variational approximation
Varyasyonel çıkarım (VI), Bayesçi sonsal hesaplamayı bir optimizasyon problemine dönüştüren bir teknik ailesidir. Tam sonsal dağılımdan örnekler çekmek yerine (Markov zinciri Monte Carlo'nun yaptığı gibi), VI daha basit, yönetilebilir bir dağılım ailesi varsayar ve bu ailenin gerçek sonsal dağılıma en yakın üyesini kanıt alt sınırını (ELBO) maksimize ederek bulur. Modern grafiksel model formu Jordan, Ghahramani, Jaakkola ve Saul (1999) tarafından tanıtılan ve kapsamlı istatistiksel bir incelemesi Blei, Kucukelbir ve McAuliffe (2017) tarafından yapılan VI, olasılıksal makine öğrenmesinde artık standart ölçeklenebilir çıkarım motorudur.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
+15 tane daha
Ne zaman kullanılır
Sonsal dağılım yönetilemez olduğunda ve MCMC veri kümesi boyutu veya model karmaşıklığı için çok yavaş olduğunda; (2) model, seçilen varyasyonel aile altında yönetilebilir bir ELBO'ya izin veren sürekli gizli değişkenler içerdiğinde; ve (3) yaklaşık ama hızlı bir cevap kabul edilebilir olduğunda varyasyonel çıkarım doğru seçimdir. Konu modelleri, derin üretken modeller (varyasyonel otomatik kodlayıcılar), Gauss süreci yaklaşımları ve büyük verilere uyan herhangi bir hiyerarşik Bayesçi modelde rutin olarak uygulanır. VI, sonsal dağılımın tek modlu veya ortalama alan ailesinin yakalayamayacağı keskin çok modluluğa veya ağır kuyruklara sahip olduğu durumlarda veya tam sonsal özetlerin gerekli olduğu durumlarda uygun değildir.
Güçlü yönler & sınırlılıklar
- MCMC'nin aksine mini-yığın stokastik optimizasyon yoluyla büyük veri kümelerine ölçeklenir.
- Yaklaşımın iyileştiğini doğrulayan somut bir skaler tanı — ELBO — sağlar.
- Güncelleme denklemlerini elle türetmeden geniş bir model sınıfını ele almak için otomatik farklılaştırma (otomatik farklılaştırma VI, ADVI) ile birleştirilebilir.
- Sadece bir nokta tahmini değil, tam bir yaklaşık sonsal dağılım üretir, belirsizlik niceliğini korur.
- Ortalama alan varsayımı, varyansların hafife alınmasına ve yaklaşımın aşırı güvenli olmasına neden olabilen sonsal korelasyonları göz ardı eder.
- KL(q || p) asimetriktir: p'nin küçük olduğu yerlere kütle koyduğu için q'yu cezalandırır, bu nedenle VI bir moda odaklanma ve çok modlu sonsal dağılımlarda diğerlerini kaçırma eğilimindedir.
- ELBO bir alt sınırdır, gerçek log marjinal olabilirlik değildir, bu nedenle düzeltme olmadan model karşılaştırması için doğrudan kullanılamaz.
- ELBO'nun yerel bir maksimumuna yakınsama garanti edilmez; farklı başlangıçlar farklı çözümler verebilir.
SSS
Varyasyonel çıkarım MCMC'den nasıl farklıdır?
MCMC, yeterli zaman verildiğinde sonsal dağılımı tam olarak temsil eden ilişkili örnekler çeker. VI, optimizasyonla bulunan daha basit bir dağılımla sonsal dağılımı yaklaştırır. VI daha hızlıdır ve daha büyük verilere ölçeklenir, ancak seçilen varyasyonel ailenin gerçek sonsal dağılımı ne kadar iyi temsil edebildiğine bağlı olan bir yaklaşım döndürür. MCMC asimptotik olarak kesindir ancak büyük modeller için çok daha yavaştır.
ELBO nedir ve onu maksimize etmek neden önemlidir?
ELBO, Kanıt Alt Sınırı (Evidence Lower BOund) anlamına gelir. log p(x) eksi KL(q || p)'ye eşittir, bu nedenle q üzerinden ELBO'yu maksimize etmek, yaklaşık sonsal dağılım q ve gerçek sonsal dağılım p arasındaki KL ıraksaklığını minimize eder. Log marjinal olabilirlik log p(x), q'ya göre sabit olduğundan, ELBO artırılabilen tek terimdir, bu da onun maksimizasyonunu en iyi yaklaşımı bulmanın kesin matematiksel ifadesi haline getirir.
Ortalama alan varsayımı nedir ve ne zaman başarısız olur?
Ortalama alan, yaklaşık sonsal dağılımın bağımsız bileşenlere, her gizli değişkene veya gruba bir tane ayrıldığını varsayar. Bu, ELBO'yu yönetilebilir kılar ancak sonsal dağılımdaki tüm korelasyonları göz ardı eder. Gizli değişkenler gerçekten ilişkiliyse başarısız olur — örneğin, bir regresyon sonsal dağılımındaki eğim ve kesme noktası — aşırı güvenli (çok dar) marjinal yaklaşımlara yol açar.
Model karşılaştırması için varyasyonel çıkarım kullanabilir miyim?
ELBO, log marjinal olabiliirlik üzerinde bir alt sınırdır, bu nedenle bir modelin diğerine göre daha yüksek bir ELBO'su lehine bir kanıttır, ancak sınır ile gerçek değer arasındaki fark modeller ve varyasyonel aileler arasında değişebilir. Dikkat gereklidir: eğer sınır bir model için gevşekse, ELBO karşılaştırması yanıltıcı olabilir. Önemi-ağırlıklı sınırlar (IWAE) gibi yöntemler tahmini sıkılaştırabilir.
Kaynaklar
- Jordan, M. I., Ghahramani, Z., Jaakkola, T. S., & Saul, L. K. (1999). An introduction to variational methods for graphical models. Machine Learning, 37(2), 183–233. DOI: 10.1023/A:1007665907178 ↗
- Blei, D. M., Kucukelbir, A., & McAuliffe, J. D. (2017). Variational inference: A review for statisticians. Journal of the American Statistical Association, 112(518), 859–877. DOI: 10.1080/01621459.2017.1285773 ↗
- Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer. (Chapter 10: Approximate Inference.) ISBN: 978-0387310732
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Variational Bayesian Inference. ScholarGate. https://scholargate.app/tr/bayesian/variational-inference
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- Bayes RegresyonuBayesçi↔ karşılaştır
- Beklenti Yayılımı (EP)Bayesçi↔ karşılaştır
- Gizli Dirichlet Tahsisi (LDA)Makine öğrenmesi↔ karşılaştır
- Markov Chain Monte Carlo (MCMC)Bayesçi↔ karşılaştır