Varyasyonel Çıkarım
Varyasyonel çıkarım, artçıl yaklaşımı bir optimizasyon problemine dönüştürerek, marjinal olabilirlik üzerindeki bir alt sınırı maksimize etmek suretiyle artçıla daha basit bir dağılım uydurmaktadır.
Tanım
Varyasyonel çıkarım, çözümlenmesi zor bir artçılı, çözümlenebilir bir dağılım ailesinden, artçıla olan Kullback-Leibler ıraksamasını minimize eden üyeyi seçerek veya eşdeğer olarak, log marjinal olabilirlik üzerindeki kanıt alt sınırını maksimize ederek yaklaştırmaktadır.
Kapsam
Bu konu, varyasyonel amaç fonksiyonunu (kanıt alt sınırı), ortalama alan ailesini ve faktörizasyon varsayımlarını, koordinat-yükseliş ve stokastik gradyan algoritmalarını, ayrıca hız ile yaklaşık çıkarımın sistematik yanlılıkları arasındaki dengeyi kapsamaktadır.
Temel sorular
- Artçıl yaklaşım bir optimizasyon problemi olarak nasıl çerçevelenmektedir?
- Kanıt alt sınırı nedir ve KL ıraksaması ile ilişkisi nasıldır?
- Ortalama alan varsayımı, çözümlenebilirlik karşılığında nelerden feragat etmektedir?
- Stokastik ve kara kutu yöntemleri, varyasyonel çıkarımı büyük verilere nasıl ölçeklendirmektedir?
Anahtar kavramlar
- kanıt alt sınırı
- Kullback-Leibler ıraksaması
- ortalama alan ailesi
- koordinat-yükseliş varyasyonel çıkarım
- stokastik varyasyonel çıkarım
- kara kutu varyasyonel çıkarım
- varyansın hafife alınması
Temel kuramlar
- Kanıt alt sınırı
- ELBO'yu maksimize etmek, yaklaşımdan artçıla olan KL ıraksamasını minimize etmeye eşdeğerdir ve çıkarımı seçilen bir aile üzerinde çözümlenebilir bir optimizasyon olarak yeniden şekillendirmektedir.
- Ortalama alan yaklaşımı
- Yaklaşık artçılın parametre blokları arasında faktörize olduğunu varsaymak, kapalı formda koordinat-yükseliş güncellemeleri sağlamakta ancak artçıl varyansını hafife alma ve bağımlılıkları göz ardı etme eğilimindedir.
Klinik önem
Varyasyonel çıkarım, Bayesyen yöntemleri metin analizi, genomik ve derin öğrenme gibi alanlarda büyük veri kümelerine ve karmaşık modellere ölçeklendirmektedir; bu alanlarda tam MCMC'nin maliyeti çok yüksek olmakta ve hızlı bir yaklaşık artçıl yeterli olmaktadır.
Tarihçe
Varyasyonel yöntemler, 1990'ların sonlarında grafik modeller için ortalama alan yaklaşımları aracılığıyla makine öğrenimine girmiştir. 2010'larda Blei ve meslektaşları tarafından 2017'de incelenen stokastik ve otomatik varyasyonel çıkarım, ölçeklenebilir yaklaşık Bayesyen çıkarımı ana akım istatistik ve olasılıksal programlamaya taşımıştır.
Tartışmalar
- Yaklaşık artçıların yanlılığı
- Varyasyonel çıkarım hızlıdır ancak KL amaç fonksiyonu belirsizliği sistematik olarak hafife almaktadır; bu nedenle, yaklaşık artçıllarının asimptotik olarak kesin MCMC'ye göre güvenilirliği tartışılmaktadır.
Öne çıkan isimler
- Michael Jordan
- Zoubin Ghahramani
- David Blei
- Tommi Jaakkola
İlgili konular
Temel eserler
- blei2017
- jordan1999
Sıkça sorulan sorular
- MCMC yerine varyasyonel çıkarımı ne zaman kullanmalıyım?
- Varyasyonel çıkarım, veri kümeleri veya modeller MCMC'nin uygulanması için çok büyük olduğunda ve hızlı, yaklaşık bir artçıl kabul edilebilir olduğunda cazip gelmektedir; doğru belirsizlik nicelemesi esas olduğunda MCMC tercih edilmeye devam etmektedir, çünkü varyasyonel yöntemler artçıl varyansını hafife alma eğilimindedir.