زنجیرههای مارکوف با زمان گسسته
زنجیره مارکوف با زمان گسسته، دنبالهای از حالتهای تصادفی است که در زمان صحیح تکامل مییابند، به طوری که توزیع حالت بعدی تنها به حالت فعلی بستگی دارد و نه به کل گذشته.
Definition
زنجیره مارکوف با زمان گسسته یک فرآیند تصادفی در فضای حالت شمارشپذیر است که توسط اعداد صحیح نامنفی نمایه میشود و توزیع شرطی حالت بعدی آن، با توجه به کل تاریخچه، تنها به حالت فعلی بستگی دارد که توسط یک ماتریس احتمال انتقال یک مرحلهای کدگذاری میشود.
Scope
این حوزه شامل خاصیت مارکوف و ماتریسهای انتقال، طبقهبندی حالتها بر اساس ارتباط، بازگشت، گذرا بودن و تناوب، وجود و یکتایی توزیعهای ایستا و حدی، نرخهای همگرایی و آمیختگی، و کاربردهای اصلی از جمله مونت کارلو زنجیره مارکوف و مدلهای پنهان مارکوف میشود.
Sub-topics
Core questions
- خاصیت مارکوف به چه معناست و چگونه توسط یک ماتریس انتقال ثبت میشود؟
- حالتها چگونه به دستههای بازگشتی، گذرا و تناوبی طبقهبندی میشوند؟
- چه زمانی یک زنجیره دارای توزیع ایستای منحصر به فرد است و به آن همگرا میشود؟
- یک زنجیره با چه سرعتی به تعادل نزدیک میشود و چگونه از این در شبیهسازی بهرهبرداری میشود؟
Key theories
- خاصیت مارکوف و معادلات چپمن-کولموگروف
- آینده به شرط حال، مستقل از گذشته است، بنابراین احتمالات انتقال چند مرحلهای با ضرب ماتریسهای انتقال به دست میآیند که رفتار n-مرحلهای را از ماتریس یک مرحلهای قابل محاسبه میکند.
- قضیه ارگودیک برای زنجیرههای مارکوف
- یک زنجیره تحویلناپذیر، غیرتناوبی و بازگشتی مثبت دارای یک توزیع ایستای منحصر به فرد است که توزیع حاشیهای به آن همگرا میشود و میانگینهای زمانی توابع تقریباً مطمئناً به آن همگرا میشوند، که فرکانسهای بلندمدت را به قانون ایستا پیوند میدهد.
Clinical relevance
زنجیرههای مارکوف با زمان گسسته، مدلسازی قدمزنیهای تصادفی، نماهای صف، ژنتیک جمعیت، الگوریتمهای رتبهبندی مانند پیجرنک، و انتقالهای حالت اقتصادی را انجام میدهند؛ نظریه همگرایی آنها زیربنای مونت کارلو زنجیره مارکوف است که روش محاسباتی غالب برای نمونهبرداری از توزیعهای احتمال پیچیده در آمار، فیزیک و یادگیری ماشین محسوب میشود.
History
آندری مارکوف در سال ۱۹۰۶ زنجیرههایی با انتقالهای وابسته اما بدون حافظه را معرفی کرد تا قانون اعداد بزرگ را فراتر از استقلال گسترش دهد و آنها را با دنبالههای حروف در شعر پوشکین نشان داد. کولموگروف و دوبلین در دهه ۱۹۳۰ نظریه همگرایی را بر پایههای دقیق نظریه اندازهگیری قرار دادند.
Key figures
- Andrey Markov
- Andrey Kolmogorov
- Wolfgang Doeblin
Related topics
Seminal works
- norris1997
Frequently asked questions
- چه چیزی یک فرآیند را به زنجیره مارکوف تبدیل میکند؟
- خاصیت مارکوف: با توجه به حالت فعلی، تکامل آینده مستقل از نحوه رسیدن زنجیره به آن حالت است، بنابراین کل دینامیک توسط احتمالات انتقال یک مرحلهای توصیف میشود.
- چه زمانی یک زنجیره مارکوف به یک توزیع بلندمدت منحصر به فرد همگرا میشود؟
- زمانی که تحویلناپذیر، غیرتناوبی و بازگشتی مثبت باشد؛ در این صورت یک توزیع ایستای واحد وجود دارد که زنجیره بدون توجه به حالت شروع خود به آن همگرا میشود.