مونت کارلو زنجیره مارکوف
مونت کارلو زنجیره مارکوف با شبیهسازی یک زنجیره مارکوف که مهندسی شده تا توزیع هدف پیچیده را به عنوان قانون ایستای منحصر به فرد خود داشته باشد، از آن توزیع نمونهبرداری میکند.
Definition
مونت کارلو زنجیره مارکوف خانوادهای از الگوریتمها است که با اجرای یک زنجیره مارکوف ارگودیک که توزیع ایستای آن همان توزیع هدف است و میانگینگیری یک تابع در طول مسیر زنجیره، انتظارات را تحت یک توزیع احتمال هدف برآورد میکند.
Scope
این موضوع شامل طراحی هستههای انتقال با توزیع ایستای از پیش تعیین شده، الگوریتم متروپلیس-هاستینگز و قاعده پذیرش آن، نمونهبردار گیبس برای بهروزرسانیهای شرطی، تشخیص همگرایی و دوره سوختن (burn-in)، تأثیر خودهمبستگی بر واریانس برآوردگر، و ارتباط بین زمانهای اختلاط و هزینه محاسباتی نمونهبرداری است.
Core questions
- چگونه یک زنجیره مارکوف ساخته میشود تا توزیع ایستای مطلوب را داشته باشد؟
- چرا قاعده پذیرش متروپلیس-هاستینگز قانون ایستای صحیح را تولید میکند؟
- چگونه نمونهبردار گیبس از توزیعهای شرطی بهرهبرداری میکند؟
- یک زنجیره چقدر باید اجرا شود تا نمونههای آن قابل استفاده باشند و چگونه این ارزیابی میشود؟
Key theories
- ساخت متروپلیس-هاستینگز
- پیشنهاد حرکتها از یک هسته دلخواه و پذیرش آنها با احتمالی که از نسبت چگالی هدف ساخته شده است، یک زنجیره برگشتپذیر را به دست میدهد که توزیع ایستای آن دقیقاً همان هدف است و تنها به هدف تا یک ثابت نرمالسازی نیاز دارد.
- میانگینهای ارگودیک و برآورد مونت کارلو
- از آنجا که زنجیره ارگودیک است و هدف به عنوان قانون ایستای آن عمل میکند، میانگینهای زمانی یک تابع در طول زنجیره تقریباً مطمئناً به انتظار هدف همگرا میشوند، که استفاده از مسیرهای شبیهسازی شده را به عنوان نمونه توجیه میکند.
Clinical relevance
مونت کارلو زنجیره مارکوف ستون فقرات آمار بیزی مدرن، فیزیک آماری و یادگیری ماشین است که امکان استنتاج بر روی توزیعهای پسین با ابعاد بالا، توابع پارتیشن و چشماندازهای انرژی را فراهم میکند که نمیتوانند به صورت تحلیلی انتگرالگیری شوند؛ قابلیت اطمینان آن به سرعت اختلاط زنجیره زیربنایی بستگی دارد.
History
زنجیره پذیرش-رد در الگوریتم متروپلیس سال ۱۹۵۳ برای فیزیک آماری سرچشمه گرفت، در سال ۱۹۷۰ توسط هاستینگز تعمیم یافت، و برای آمار از طریق نمونهبردار گیبس گمان و گمان در سال ۱۹۸۴ و کاربردهای تأثیرگذار بیزی گلفاند و اسمیت در حدود سال ۱۹۹۰ بازتعریف شد که انقلاب محاسباتی بیزی را آغاز کرد.
Key figures
- Nicholas Metropolis
- W. Keith Hastings
- Stuart Geman
- Donald Geman
Related topics
Seminal works
- robertCasella2004
- hastings1970
Frequently asked questions
- چرا برای نمونهبرداری از یک زنجیره مارکوف استفاده کنیم؟
- برای توزیعهای هدف با ابعاد بالا یا غیرنرمالشده، نمونهبرداری مستقیم غیرممکن است؛ یک زنجیره مارکوف که به هدف همگرا میشود، به شما امکان میدهد پس از رسیدن به تعادل، نمونههای وابسته اما به درستی توزیعشده تولید کنید.
- دوره سوختن (burn-in) چیست؟
- این بخش اولیه زنجیره است که دور انداخته میشود زیرا زنجیره هنوز به توزیع ایستای خود همگرا نشده است، بنابراین آن حالتهای اولیه بر برآوردها سوگیری ایجاد میکنند.