زنجیرههای مارکوف زمان گسسته
یک زنجیره مارکوف زمان گسسته در زمانهای صحیح بین مجموعهای شمارا از حالتها حرکت میکند و حالت بعدی خود را از احتمالات وابسته تنها به حالت فعلی انتخاب میکند که به طور فشرده در یک ماتریس انتقال کدگذاری شده است.
Definition
یک زنجیره مارکوف زمان گسسته، دنبالهای از حالتهای تصادفی در یک مجموعه شمارا است به طوری که احتمال حالت بعدی تنها به حالت فعلی بستگی دارد، با این احتمالات یک گامی که در یک ماتریس انتقال جمعآوری شدهاند.
Scope
این موضوع شامل ماتریسهای انتقال و معادلات چپمن-کولموگوروف، خاصیت قوی مارکوف، طبقهبندی حالتها به کلاسهای ارتباطی و به حالتهای گذرا، بازگشتی پوچ، و بازگشتی مثبت، تناوب، احتمالات برخورد و زمانهای مورد انتظار برخورد محاسبه شده با تحلیل گام اول، و دوگانگی بازگشت برای گامهای تصادفی در شبکه اعداد صحیح است.
Core questions
- چگونه یک ماتریس انتقال دینامیک یک زنجیره را در طول چندین گام کدگذاری میکند؟
- حالتها چگونه بر اساس ساختار ارتباطی و بازگشتپذیری خود طبقهبندی میشوند؟
- احتمالات برخورد و زمانهای مورد انتظار برخورد چگونه محاسبه میشوند؟
- کدام گامهای تصادفی با قطعیت به نقطه شروع خود بازمیگردند و کدامها به بینهایت فرار میکنند؟
Key concepts
- ماتریس انتقال
- معادلات چپمن-کولموگوروف
- کلاسهای ارتباطی
- بازگشت و گذرا بودن
- زمانهای برخورد
Key theories
- خاصیت قوی مارکوف
- خاصیت مارکوف در زمانهای تصادفی مناسبی که زمان توقف نامیده میشوند، همچنان برقرار است، بنابراین یک زنجیره از حالت خود در چنین زمانی تازه شروع به کار میکند، که ابزار کلیدی برای تحلیل بازگشتها، گشتوگذارها و زمانهای برخورد است.
- دوگانگی بازگشت
- هر حالت یا بازگشتی است، که با احتمال یک بینهایت بار بازدید میشود، یا گذرا است، که تنها تعداد محدودی بار بازدید میشود؛ برای گام تصادفی متقارن ساده این به ابعاد بستگی دارد، با بازگشت در یک و دو بعد و گذرا بودن در سه بعد و بالاتر.
Clinical relevance
زنجیرههای مارکوف زمان گسسته بازیهای تختهای، سیستمهای موجودی و صف، ناوبری وب از طریق زنجیره پیجرنک، و توالی ژنتیکی و اکولوژیکی را مدلسازی میکنند؛ نظریه زمان برخورد و بازگشت آنها به سوالات عملی در مورد اینکه چقدر طول میکشد تا یک سیستم به حالت هدف برسد یا به یک وضعیت مرجع بازگردد، پاسخ میدهد.
History
مارکوف این زنجیرهها را در سال ۱۹۰۶ معرفی کرد و آنها را برای دنباله واکهها و همخوانها در یک شعر پوشکین به کار برد تا نشان دهد قانون اعداد بزرگ برای متغیرهای وابسته برقرار است. تحلیل پولیا در سال ۱۹۲۱ از گامهای تصادفی، دوگانگی بازگشت وابسته به ابعاد را که تحت تأثیر اوست، پایهگذاری کرد.
Key figures
- Andrey Markov
- George Polya
- Joseph L. Doob
Related topics
Seminal works
- norris1997
Frequently asked questions
- تفاوت بین حالت بازگشتی و حالت گذرا چیست؟
- حالت بازگشتی حالتی است که زنجیره مطمئناً به آن بازمیگردد و بنابراین بینهایت بار از آن بازدید میکند، در حالی که حالت گذرا تنها تعداد محدودی بار بازدید میشود قبل از اینکه زنجیره برای همیشه دور شود.
- چرا گام تصادفی ساده در ابعاد پایین بازگشتی است اما در ابعاد بالا اینطور نیست؟
- در یک و دو بعد، گام با احتمال یک به مبدأ بازمیگردد، اما از سه بعد به بالا فضای کافی برای فرار وجود دارد، بنابراین گام تنها تعداد محدودی بار بازمیگردد و گذرا است؛ این نتیجه کلاسیک پولیا است.