فرایندهای مارکوف
فرایند مارکوف یک تکامل تصادفی است که آینده آن، با توجه به وضعیت فعلیاش، مستقل از گذشته آن است. این ساختار بدون حافظه، طیف وسیعی از سیستمهای تصادفی را از نظر تحلیلی قابل بررسی میکند.
Definition
فرایند مارکوف یک فرایند تصادفی است که خاصیت مارکوف را داراست، به این معنی که توزیع شرطی آینده با توجه به کل گذشته تنها به وضعیت فعلی بستگی دارد، به طوری که فرایند از طریق احتمالات انتقال بین حالتها تکامل مییابد.
Scope
این حوزه شامل زنجیرههای مارکوف با زمان گسسته در فضاهای حالت شمارشپذیر با ماتریسهای انتقال، طبقهبندی حالتها و بازگشتپذیری آنها، فرایند پواسون و نقش آن به عنوان مدل کانونی ورودهای تصادفی، زنجیرههای مارکوف با زمان پیوسته با مولدهای آنها و معادلات کولموگوروف پیشرو و پسرو، و نظریه بلندمدت توزیعهای ایستا، ارگودیسیته و همگرایی به تعادل میشود.
Sub-topics
Core questions
- خاصیت مارکوف به چه معناست و چرا یک فرایند را قابل بررسی میکند؟
- حالتهای یک زنجیره چگونه به گذرا و بازگشتی طبقهبندی میشوند و چه چیزی بازگشت به یک حالت را کنترل میکند؟
- فرایندهای مارکوف با زمان پیوسته چگونه توسط مولدها و معادلات کولموگوروف توصیف میشوند؟
- چه زمانی یک فرایند مارکوف در یک توزیع ایستا قرار میگیرد و با چه سرعتی؟
Key theories
- خاصیت مارکوف و هستههای انتقال
- شرطیسازی بر زمان حال، آینده را مستقل از گذشته میکند، بنابراین دینامیک به طور کامل توسط احتمالات انتقال کدگذاری میشود، و انتقالهای چند مرحلهای توسط معادلات چپمن-کولموگوروف ترکیب میشوند و توصیف جبری واضحی از تکامل ارائه میدهند.
- همگرایی به یک توزیع ایستا
- یک زنجیره مارکوف تحویلناپذیر، غیرتناوبی و بازگشتی مثبت دارای یک توزیع ایستای منحصر به فرد است که توزیع حالت از هر نقطه شروعی به آن همگرا میشود؛ این قضیه ارگودیک زیربنای روش مونت کارلو زنجیره مارکوف و تحلیل صف است.
Clinical relevance
فرایندهای مارکوف طیف وسیعی از سیستمهای کاربردی را مدلسازی میکنند: صفها و مراکز تماس، دینامیک جمعیت و اپیدمی، توالیهای ژنی و کانالهای یونی، الگوریتمهای رتبهبندی مانند پیجرنک (PageRank)، و روشهای مونت کارلو زنجیره مارکوف که محاسبات بیزی مدرن و شبیهسازی فیزیک آماری را قدرت میبخشند.
History
آندری مارکوف در سال ۱۹۰۶ زنجیرههایی با انتقالهای وابسته را برای گسترش قانون اعداد بزرگ به توالیهای وابسته معرفی کرد. کولموگوروف و فلر نظریه زمان پیوسته را با معادلات دیفرانسیل آن برای احتمالات انتقال توسعه دادند، و دوب این موضوع را در چارچوب نظریه اندازهگیری فرایندهای تصادفی قرار داد.
Key figures
- Andrey Markov
- Andrey Kolmogorov
- Joseph L. Doob
- William Feller
Related topics
Seminal works
- norris1997
Frequently asked questions
- خاصیت مارکوف به زبان ساده چیست؟
- این خاصیت به معنای بیحافظگی است: برای پیشبینی آینده فرایند، تنها کافی است وضعیت فعلی آن را بدانید، نه مسیری که از طریق آن به آنجا رسیده است؛ زمان حال، گذشته را از آینده جدا میکند.
- چرا فرایندهای مارکوف اینقدر گسترده استفاده میشوند؟
- ساختار بیحافظه آنها باعث میشود که از نظر تحلیلی و محاسباتی قابل بررسی باشند، در حالی که همچنان تصادفی بودن و وابستگی واقعی را در طول زمان به تصویر میکشند، بنابراین به عنوان مدل دینامیکی پیشفرض در سراسر علوم، مهندسی و محاسبات عمل میکنند.