الاستدلال التبايني

يحوّل الاستدلال التبايني تقريب التوزيع الخلفي إلى عملية تحسين، حيث يقوم بملاءمة توزيع أبسط للتوزيع الخلفي عن طريق تعظيم حد أدنى للاحتمالية الهامشية.

Definition

يقوم الاستدلال التبايني بتقريب توزيع خلفي غير قابل للمعالجة عن طريق اختيار العضو الذي يقلل من تباعد كولباك-لايبلر (Kullback-Leibler divergence) إلى التوزيع الخلفي، من عائلة قابلة للمعالجة من التوزيعات، وهو ما يعادل تعظيم الحد الأدنى للأدلة على لوغاريتم الاحتمالية الهامشية.

Scope

يغطي هذا الموضوع الهدف التبايني (الحد الأدنى للأدلة)، وعائلة المجال المتوسط وافتراضات تحليلها، وخوارزميات الصعود التناسقي والتدرج العشوائي، والمفاضلات بين السرعة والتحيزات المنهجية للاستدلال التقريبي.

Core questions

• كيف يتم تأطير تقريب التوزيع الخلفي كمشكلة تحسين؟
• ما هو الحد الأدنى للأدلة وكيف يرتبط بتباين كولباك-لايبلر (KL divergence)؟
• ماذا تضحي فرضية المجال المتوسط في مقابل قابلية المعالجة؟
• كيف تعمل الأساليب العشوائية والصندوق الأسود على توسيع نطاق الاستدلال التبايني ليشمل البيانات الكبيرة؟

Key concepts

• الحد الأدنى للأدلة
• تباين كولباك-لايبلر
• عائلة المجال المتوسط
• الاستدلال التبايني بالصعود التناسقي
• الاستدلال التبايني العشوائي
• الاستدلال التبايني بالصندوق الأسود
• التقليل من تقدير التباين

Key theories

الحد الأدنى للأدلة

يعادل تعظيم الحد الأدنى للأدلة (ELBO) تقليل تباعد كولباك-لايبلر من التقريب إلى التوزيع الخلفي، مما يعيد صياغة الاستدلال كتحسين قابل للمعالجة ضمن عائلة مختارة.

تقريب المجال المتوسط

يؤدي افتراض أن التوزيع الخلفي التقريبي يتحلل عبر كتل المعلمات إلى تحديثات صعود تناسقي ذات صيغة مغلقة ولكنه يميل إلى التقليل من تقدير تباين التوزيع الخلفي وتجاهل التبعيات.

Clinical relevance

يوسع الاستدلال التبايني أساليب بايزيان لتشمل مجموعات البيانات الكبيرة والنماذج المعقدة في تحليل النصوص، وعلم الجينوم، والتعلم العميق، حيث تكون تكلفة سلسلة ماركوف مونت كارلو (MCMC) الكاملة باهظة، ويكفي وجود توزيع خلفي تقريبي سريع.

History

دخلت الأساليب التباينية مجال التعلم الآلي من خلال تقريبات المجال المتوسط للنماذج الرسومية في أواخر التسعينيات. وقد أدى الاستدلال التبايني العشوائي والتلقائي في العقد الثاني من القرن الحادي والعشرين، والذي استعرضه بلي وزملاؤه في عام 2017، إلى إدخال الاستدلال البايزي التقريبي القابل للتطوير إلى الإحصاء السائد والبرمجة الاحتمالية.

Debates

تحيز التوزيعات الخلفية التقريبية

الاستدلال التبايني سريع، لكن هدفه في تباعد كولباك-لايبلر يقلل بشكل منهجي من عدم اليقين، لذا فإن موثوقية توزيعاته الخلفية التقريبية مقارنةً بسلسلة ماركوف مونت كارلو (MCMC) الدقيقة تقاربيًا محل نقاش.

Key figures

• Michael Jordan
• Zoubin Ghahramani
• David Blei
• Tommi Jaakkola

Seminal works

• blei2017
• jordan1999

Frequently asked questions

متى يجب أن أستخدم الاستدلال التبايني بدلاً من سلسلة ماركوف مونت كارلو (MCMC)؟

يكون الاستدلال التبايني جذابًا عندما تكون مجموعات البيانات أو النماذج كبيرة جدًا بحيث لا تكون سلسلة ماركوف مونت كارلو (MCMC) مجدية، ويكون التوزيع الخلفي السريع والتقريبي مقبولًا؛ تظل سلسلة ماركوف مونت كارلو (MCMC) مفضلة عندما يكون التحديد الدقيق لعدم اليقين ضروريًا، لأن الأساليب التباينية تميل إلى التقليل من تقدير تباين التوزيع الخلفي.