Klasifikasi dan Rekurensi Rantai Markov

Mengklasifikasikan keadaan-keadaan dalam rantai Markov mengungkapkan keadaan mana yang sering dikunjungi tanpa batas dan mana yang akhirnya ditinggalkan, membagi ruang keadaan menjadi kelas-kelas yang saling berkomunikasi dengan perilaku jangka panjang yang sama.

Definition

Klasifikasi keadaan menganalisis rantai Markov dengan mengelompokkan keadaan-keadaan yang dapat saling mencapai ke dalam kelas-kelas yang saling berkomunikasi dan melabeli setiap keadaan sebagai rekuren jika rantai kembali ke keadaan tersebut dengan probabilitas satu atau transien jika ada probabilitas positif untuk tidak pernah kembali.

Scope

Topik ini mencakup hubungan aksesibilitas dan komunikasi, dekomposisi ruang keadaan menjadi kelas-kelas yang saling berkomunikasi, ireduksibilitas, dikotomi rekurensi-transiensi dan kriterianya, rekurensi positif versus nol, periodisitas, dan penggunaan probabilitas lintasan pertama dan probabilitas mencapai untuk menentukan sifat-sifat ini.

Core questions

• Kapan dua keadaan berkomunikasi, dan bagaimana ini membagi ruang keadaan?
• Apa yang membedakan keadaan rekuren dari keadaan transien?
• Bagaimana rekurensi positif dipisahkan dari rekurensi nol?
• Peran apa yang dimainkan periodisitas dalam perilaku jangka panjang rantai?

Key theories

Dikotomi rekurensi-transiensi

Suatu keadaan bersifat rekuren jika dan hanya jika jumlah pengembalian yang diharapkan tak terbatas, atau secara ekuivalen jumlah probabilitas pengembaliannya menyimpang; rekurensi dan transiensi adalah sifat kelas yang dimiliki oleh semua keadaan yang berkomunikasi.

Rekurensi positif versus nol

Suatu keadaan rekuren bersifat rekuren positif ketika waktu pengembalian yang diharapkan terbatas dan rekuren nol ketika tak terbatas; rekurensi positif diperlukan untuk keberadaan distribusi probabilitas stasioner.

Clinical relevance

Menentukan rekurensi memutuskan apakah suatu langkah acak kembali ke asalnya, apakah suatu antrean kosong tanpa batas, dan apakah suatu proses populasi bertahan atau terserap; hasil klasik Polya bahwa langkah acak simetris sederhana bersifat rekuren dalam satu dan dua dimensi tetapi transien dalam tiga atau lebih dimensi adalah konsekuensi kanonik.

History

Pertanyaan rekurensi dikristalisasi oleh analisis Polya tahun 1921 tentang langkah acak pada kisi-kisi bilangan bulat, dan teori sistematis berbasis kelas tentang rekurensi dan transiensi dikembangkan pada pertengahan abad ke-20 oleh Chung, Feller, dan lainnya ke dalam bentuk yang ditemukan dalam buku teks modern.

Key figures

• George Polya
• Andrey Markov
• Kai Lai Chung

Seminal works

• norris1997

Frequently asked questions

Apa artinya suatu keadaan bersifat rekuren?

Dimulai dari keadaan tersebut, rantai kembali ke keadaan itu dengan probabilitas satu, dan oleh karena itu kembali tanpa batas; keadaan transien adalah keadaan yang mungkin ditinggalkan rantai selamanya dengan probabilitas positif.

Mengapa dimensi penting untuk rekurensi langkah acak?

Langkah acak simetris sederhana bersifat rekuren dalam dimensi satu dan dua tetapi transien dalam dimensi tiga dan lebih tinggi, karena probabilitas kembali ke asal bergantung pada seberapa cepat langkah tersebut dapat melarikan diri, yang meningkat seiring dengan dimensi.