مقایسه و انتخاب مدل بیزی

مقایسه مدل بیزی، مدل‌های رقیب را بر اساس میزان پیش‌بینی‌پذیری آن‌ها و میزان پشتیبانی پسین که داده‌ها به آن‌ها می‌دهند، با استفاده از احتمال‌های حاشیه‌ای، معیارهای پیش‌بینی‌کننده و میانگین‌گیری مدل، ارزیابی می‌کند.

Definition

مقایسه مدل بیزی، استفاده از احتمال برای ارزیابی و انتخاب از میان مدل‌های رقیب است، با مقایسه احتمال‌های حاشیه‌ای یا احتمال‌های پسین آن‌ها، با تخمین دقت پیش‌بینی مورد انتظار آن‌ها، یا با میانگین‌گیری بر روی آن‌ها متناسب با پشتیبانی‌شان.

Scope

این حوزه شامل فاکتورهای بیز و احتمال حاشیه‌ای، معیارهای اطلاعاتی پیش‌بینی‌کننده مانند WAIC و اعتبارسنجی متقابل حذف یک مورد (leave-one-out cross-validation)، میانگین‌گیری مدل بیزی که عدم قطعیت مدل را در نظر می‌گیرد، و بررسی پیش‌بینی پسین برای ارزیابی برازش مطلق مدل است.

Sub-topics

• bayes factors and marginal likelihood
• bayesian model averaging
• posterior predictive checks
• predictive information criteria

Core questions

• چگونه فاکتورهای بیز و احتمال‌های مدل پسین، مدل‌ها را مقایسه می‌کنند؟
• چگونه دقت پیش‌بینی مورد انتظار با استفاده از WAIC و اعتبارسنجی متقابل تخمین زده می‌شود؟
• چگونه میانگین‌گیری مدل بیزی عدم قطعیت در مورد صحیح بودن مدل را مدیریت می‌کند؟
• چگونه بررسی‌های پیش‌بینی پسین ارزیابی می‌کنند که آیا یک مدل واحد با داده‌ها مطابقت دارد؟

Key concepts

• فاکتور بیز
• احتمال حاشیه‌ای
• WAIC
• اعتبارسنجی متقابل حذف یک مورد
• میانگین‌گیری مدل بیزی
• بررسی پیش‌بینی پسین
• تیغ اوکام
• دقت پیش‌بینی

Key theories

فاکتورهای بیز

نسبت احتمال‌های حاشیه‌ای، شواهدی را که داده‌ها برای یک مدل نسبت به مدل دیگر ارائه می‌دهند، کمی‌سازی می‌کند و اساس رسمی بیزی برای مقایسه فرضیه و مدل است.

ارزیابی مدل پیش‌بینی‌کننده

معیارهای اطلاعاتی مانند WAIC و اعتبارسنجی متقابل حذف یک مورد کارآمد، دقت پیش‌بینی خارج از نمونه را مستقیماً از نمونه‌برداری‌های پسین تخمین می‌زنند و جایگزینی پیش‌بینی‌محور برای فاکتورهای بیز ارائه می‌دهند.

Clinical relevance

مقایسه مدل راهنمایی می‌کند که کدام مدل علمی یا پیش‌بینی‌کننده در زمینه‌هایی از ژنتیک تا کیهان‌شناسی قابل اعتماد است، و بررسی‌های پیش‌بینی پسین راهی اصولی برای تشخیص عدم برازش مدل قبل از نتیجه‌گیری ارائه می‌دهد.

History

جفریز در دهه ۱۹۳۰ فاکتورهای بیز را برای آزمون فرضیه معرفی کرد؛ بررسی سال ۱۹۹۵ کاس و رافتی آن‌ها را به طور گسترده‌ای در دسترس قرار داد. نگرانی در مورد حساسیت احتمال حاشیه‌ای به پیش‌فرض‌ها و محاسبات، معیارهای پیش‌بینی‌کننده مانند DIC، WAIC و اعتبارسنجی متقابل حذف یک مورد کارآمد را تحریک کرد.

Debates

فاکتورهای بیز در مقابل معیارهای پیش‌بینی‌کننده

فاکتورهای بیز به شدت به پیش‌فرض‌ها وابسته هستند و محاسبه آن‌ها می‌تواند دشوار باشد، در حالی که معیارهای پیش‌بینی‌کننده دقت خارج از نمونه را هدف قرار می‌دهند؛ اینکه کدام یک ترجیح داده شود بستگی به این دارد که هدف، شواهد برای یک فرضیه باشد یا عملکرد پیش‌بینی‌کننده.

Key figures

• Harold Jeffreys
• Robert Kass
• Adrian Raftery
• Sumio Watanabe
• Aki Vehtari

Seminal works

• kass1995
• vehtari2017
• gelman2013

Frequently asked questions

آیا باید از فاکتورهای بیز استفاده کنم یا یک معیار اطلاعاتی؟

هنگامی که می‌خواهید معیاری از شواهد برای یک فرضیه نسبت به دیگری داشته باشید و می‌توانید پیش‌فرض‌ها را با دقت مشخص کنید، از فاکتورهای بیز استفاده کنید؛ هنگامی که هدف مقایسه عملکرد پیش‌بینی مورد انتظار خارج از نمونه است، از معیارهای پیش‌بینی‌کننده مانند WAIC یا اعتبارسنجی متقابل حذف یک مورد استفاده کنید.