Otomatik Türevsel Varyasyonel Çıkarım (ADVI)
Automatic Differentiation Variational Inference (ADVI) · Ayrıca şöyle bilinir: ADVI, black-box variational inference, automatic variational inference, gradient-based variational inference
Otomatik Türevsel Varyasyonel Çıkarım (ADVI), Kucukelbir, Tran, Ranganath, Gelman ve Blei (2017, JMLR) tarafından tanıtılan, yaklaşık Bayes sonrası çıkarım için kullanılan kara kutu bir algoritmadır. Log-birleşik yoğunluğu türevlenebilir olan herhangi bir olasılıksal model verildiğinde, ADVI otomatik olarak kısıtlı gizli değişkenleri kısıtlanmamış reel uzaya dönüştürür, stokastik gradyan yükseltme ile kanıt alt sınırını (ELBO) maksimize ederek bir Gauss varyasyonel ailesi uydurur ve modelden bağımsız türetmeler olmadan yaklaşık bir sonrası sunar. Stan'deki varsayılan varyasyonel çıkarım motorudur ve PyMC ve NumPyro'da mevcuttur.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
Ne zaman kullanılır
ADVI, sonrasalın makul bir sürede MCMC ile örneklenemediği durumlarda uygundur — tipik olarak modelin çok sayıda parametresi olduğunda, veri büyük olduğunda veya iteratif model geliştirme için hızlı yaklaşık çıkarım gerektiğinde. Tüm gizli değişkenlerin sürekli olduğunu ve log-birleşik yoğunluğun türevlenebilir olduğunu varsayar; ayrık gizli değişkenler marjinalleştirme veya ayrı bir yaklaşım gerektirir. Hiyerarşik modeller, gizli Gauss modelleri ve zaten Stan veya PyMC'de uygulanan herhangi bir model için uygundur. Kesin veya yüksek doğrulukta sonrası belirsizlik gerektiğinde, tam MCMC (örn. NUTS) tercih edilmelidir, çünkü ortalama-alan Gauss ailesi sonrası varyansı hafife alabilir ve çok modlu veya güçlü ilişkili sonraları kaçırabilir.
Güçlü yönler & sınırlılıklar
- Tam otomatik: yalnızca log-birleşik yoğunluğu belirtmenin ötesinde modelden bağımsız türetmeler gerektirmez.
- Mini-yığınlarla stokastik gradyan tahmini yoluyla büyük veri kümelerine ölçeklenir.
- Karmaşık hiyerarşik modeller için MCMC'den kat kat daha hızlıdır, model geliştirme sırasında hızlı yinelemeye olanak tanır.
- Doğrudan Stan'in varyasyonel çıkarım motoruna yerleştirilmiştir ve PyMC ve NumPyro'da mevcuttur, bu da özel kod olmadan erişilebilir olmasını sağlar.
- Dönüşüm adımı, kısıtlı ve kısıtlanmamış parametrelerin herhangi bir kombinasyonunu tekdüze bir şekilde ele alır.
- Ortalama-alan Gauss varyasyonel ailesi, parametreler arasındaki sonrası korelasyonları yakalayamaz; bu, güçlü parametre bağımlılıklarına sahip modellerde yetersiz sonrası varyansa yol açar.
- Yakınsama, küresel değil, ELBO'nun yerel bir optimaline olur; sonuçlar başlangıç değerlerine bağlı olabilir.
- Analitik olarak marjinalleştirilmedikçe ayrık gizli değişkenlere sahip modeller için geçerli değildir.
- Yaklaşımın gerçek sonraya yakın olduğunu belgelemek için MCMC'nin R-hat'ına benzer bir teşhis sağlamaz; ELBO bir alt sınırdır ancak mutlak değeri doğrudan yorumlanamaz.
- Dönüştürülmüş uzaydaki Gauss yaklaşımı, gerçek sonranın ağır kuyruklu, çok modlu veya yüksek oranda çarpık olduğu durumlarda zayıf bir uyum olabilir.
SSS
ADVI standart (koordinat-yükseltme) varyasyonel çıkarımdan nasıl farklıdır?
Koordinat-yükseltme varyasyonel çıkarımı (CAVI), her parametre için diğerlerine koşullu olarak kapalı formda güncelleme denklemlerini manuel olarak türetmeyi gerektirir, bu yalnızca belirli model-öncelik kombinasyonları (eşlenik üstel aile modelleri) için mümkündür. ADVI, tüm bunları otomatik türevleme ile hesaplanan tek bir stokastik gradyan adımıyla değiştirir, bu da onu modelden bağımsız türetmeler olmadan herhangi bir türevlenebilir olasılıksal modele uygulanabilir hale getirir.
ADVI neden parametreleri kısıtlanmamış uzaya dönüştürür?
Gauss varyasyonel ailesi tüm ℝ üzerinde tanımlanır, ancak birçok model parametresi kısıtlıdır (örn. bir varyans pozitif olmalıdır). ADVI, log dönüşümü gibi bir bijeksiyon uygulayarak, her kısıtlı parametreyi reel doğruya haritalar, burada bir Gauss yaklaşımı geçerlidir. Dönüşümün Jakobiyeni, yaklaşımın olasılıksal olarak tutarlı kalmasını sağlamak için yoğunluğu düzeltir.
ADVI'nin sonrası belirsizlik tahminlerine güvenebilir miyim?
Ortalama-alan Gauss ailesi her parametreyi bağımsız olarak yaklaştırır, bu nedenle parametreler arasındaki sonrası korelasyonlar göz ardı edilir. Bu genellikle ADVI'nin sonrası varyansı hafife almasına neden olur, bazen önemli ölçüde. Kritik çıkarımlar için, sonuçlar daha küçük bir veri kümesi veya basitleştirilmiş bir model versiyonu üzerinde MCMC ile doğrulanmalıdır. Yaklaşık ortalamalar genellikle yaklaşık varyanslardan daha güvenilirdir.
Ne zaman MCMC (NUTS) yerine ADVI'yi tercih etmeliyim?
Kesin sonrası belirsizliğin önemli olduğu, modelin güçlü parametre korelasyonlarına sahip olduğu, sonranın çok modlu olabileceği veya veri kümesinin MCMC'nin hızlı bittiği kadar küçük olduğu durumlarda NUTS'u tercih edin. ADVI, yineleme hızının önemli olduğu (örn. birçok modeli keşfetme) veya karmaşık veya büyük bir model için MCMC karışma sürelerinin çok uzun olduğu durumlarda pratik bir seçimdir.
Kaynaklar
- Kucukelbir, A., Tran, D., Ranganath, R., Gelman, A. & Blei, D. M. (2017). Automatic differentiation variational inference. Journal of Machine Learning Research, 18(14), 1–45. link ↗
- Kucukelbir, A., Tran, D., Ranganath, R., Gelman, A. & Blei, D. M. (2016). Automatic differentiation variational inference. arXiv:1603.00788. link ↗
- Gelman, A., Carlin, J. B., Stern, H. S., Dunson, D. B., Vehtari, A. & Rubin, D. B. (2013). Bayesian Data Analysis (3rd ed.). CRC Press. ISBN: 978-1439840955
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Automatic Differentiation Variational Inference (ADVI). ScholarGate. https://scholargate.app/tr/bayesian/automatic-differentiation-variational-inference
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- Bayes RegresyonuBayesçi↔ karşılaştır
- Beklenti Yayılımı (EP)Bayesçi↔ karşılaştır
- Markov Chain Monte Carlo (MCMC)Bayesçi↔ karşılaştır