मुझे MCMC के बजाय वैरिएशनल इन्फरेंस का उपयोग कब करना चाहिए?

वैरिएशनल इन्फरेंस तब आकर्षक होता है जब डेटासेट या मॉडल MCMC के लिए बहुत बड़े होते हैं और एक तेज़, अनुमानित पश्च स्वीकार्य होता है; MCMC तब भी बेहतर रहता है जब सटीक अनिश्चितता मात्रा का निर्धारण आवश्यक हो, क्योंकि वैरिएशनल विधियाँ पश्च विचरण को कम आंकने की प्रवृत्ति रखती हैं।

वैरिएशनल इन्फरेंस (Variational Inference)

वैरिएशनल इन्फरेंस पश्च सन्निकटन (posterior approximation) को अनुकूलन (optimization) में बदल देता है, सीमांत संभाव्यता (marginal likelihood) पर निचली सीमा को अधिकतम करके पश्च के लिए एक सरल वितरण को फिट करता है।

PaperMind से विषय खोजेंजल्द हीFind papers & topics

Tools & resources

स्लाइड डाउनलोड करें

Learn & explore

वीडियोजल्द ही

Definition

वैरिएशनल इन्फरेंस एक जटिल पश्च (intractable posterior) का अनुमान लगाता है, जो वितरणों के एक सुगम परिवार (tractable family of distributions) से उस सदस्य का चयन करता है जो पश्च के लिए कुलबैक-लीब्लर विचलन (Kullback-Leibler divergence) को कम करता है, जो समतुल्य रूप से लॉग सीमांत संभाव्यता (log marginal likelihood) पर साक्ष्य निचली सीमा (evidence lower bound) को अधिकतम करके होता है।

Scope

यह विषय वैरिएशनल उद्देश्य (साक्ष्य निचली सीमा), माध्य-क्षेत्र परिवार (mean-field family) और इसकी गुणनखंड धारणाओं (factorization assumptions), समन्वय-आरोहण (coordinate-ascent) और स्टोकेस्टिक ग्रेडिएंट एल्गोरिदम (stochastic gradient algorithms), और गति तथा अनुमानित इन्फरेंस के व्यवस्थित पूर्वाग्रहों (systematic biases) के बीच के व्यापार-बंद (trade-offs) को शामिल करता है।

Core questions

पश्च सन्निकटन को अनुकूलन समस्या के रूप में कैसे तैयार किया जाता है?
साक्ष्य निचली सीमा क्या है और यह KL विचलन से कैसे संबंधित है?
माध्य-क्षेत्र धारणा सुगमता के बदले में क्या त्याग करती है?
स्टोकेस्टिक और ब्लैक-बॉक्स विधियाँ बड़े डेटा के लिए वैरिएशनल इन्फरेंस को कैसे बढ़ाती हैं?

Key concepts

साक्ष्य निचली सीमा
कुलबैक-लीब्लर विचलन
माध्य-क्षेत्र परिवार
समन्वय-आरोहण वैरिएशनल इन्फरेंस
स्टोकेस्टिक वैरिएशनल इन्फरेंस
ब्लैक-बॉक्स वैरिएशनल इन्फरेंस
विचरण का कम अनुमान

Key theories

साक्ष्य निचली सीमा: ELBO को अधिकतम करना सन्निकटन से पश्च तक KL विचलन को कम करने के बराबर है, जो इन्फरेंस को चुने हुए परिवार पर एक सुगम अनुकूलन के रूप में पुनर्गठित करता है।
माध्य-क्षेत्र सन्निकटन: यह मानते हुए कि अनुमानित पश्च पैरामीटर ब्लॉकों में गुणनखंडित होता है, बंद-रूप समन्वय-आरोहण अपडेट प्राप्त होते हैं, लेकिन यह पश्च विचरण को कम आंकने और निर्भरताओं को अनदेखा करने की प्रवृत्ति रखता है।

Clinical relevance

वैरिएशनल इन्फरेंस बायेसियन विधियों को पाठ विश्लेषण (text analysis), जीनोमिक्स (genomics) और डीप लर्निंग (deep learning) में बड़े डेटासेट और जटिल मॉडलों तक बढ़ाता है, जहाँ पूर्ण MCMC की लागत निषेधात्मक होगी और एक तेज़ अनुमानित पश्च पर्याप्त होता है।

History

वैरिएशनल विधियाँ 1990 के दशक के अंत में ग्राफिकल मॉडल (graphical models) के लिए माध्य-क्षेत्र सन्निकटन (mean-field approximations) के माध्यम से मशीन लर्निंग में प्रवेश कर गईं। 2010 के दशक में स्टोकेस्टिक और स्वचालित वैरिएशनल इन्फरेंस (stochastic and automatic variational inference), जिसका सर्वेक्षण ब्लेई और सहयोगियों ने 2017 में किया था, ने स्केलेबल अनुमानित बायेसियन इन्फरेंस (scalable approximate Bayesian inference) को मुख्यधारा के सांख्यिकी और प्रोबेबिलिस्टिक प्रोग्रामिंग (probabilistic programming) में लाया।

Debates

अनुमानित पश्च का पूर्वाग्रह: वैरिएशनल इन्फरेंस तेज़ है लेकिन इसका KL उद्देश्य व्यवस्थित रूप से अनिश्चितता को कम आंकता है, इसलिए स्पर्शोन्मुख रूप से सटीक MCMC के सापेक्ष इसके अनुमानित पश्च की विश्वसनीयता पर बहस होती है।

Key figures

Michael Jordan
Zoubin Ghahramani
David Blei
Tommi Jaakkola

Seminal works

blei2017
jordan1999

Frequently asked questions

मुझे MCMC के बजाय वैरिएशनल इन्फरेंस का उपयोग कब करना चाहिए?: वैरिएशनल इन्फरेंस तब आकर्षक होता है जब डेटासेट या मॉडल MCMC के लिए बहुत बड़े होते हैं और एक तेज़, अनुमानित पश्च स्वीकार्य होता है; MCMC तब भी बेहतर रहता है जब सटीक अनिश्चितता मात्रा का निर्धारण आवश्यक हो, क्योंकि वैरिएशनल विधियाँ पश्च विचरण को कम आंकने की प्रवृत्ति रखती हैं।