Distribusi Stasioner dan Ergodisitas

Distribusi stasioner adalah distribusi probabilitas atas keadaan yang tidak berubah dalam rantai Markov, dan dalam kondisi tertentu rantai tersebut melupakan titik awalnya dan menyatu ke ekuilibrium ini, dengan rata-rata waktu yang cocok dengan rata-rata ruang.

Definition

Distribusi stasioner dari rantai Markov adalah distribusi probabilitas atas keadaan yang invarian di bawah satu langkah rantai, dan rantai dikatakan ergodik ketika, dari setiap keadaan awal, distribusinya menyatu ke distribusi stasioner ini dan rata-rata waktunya menyatu ke ekspektasi stasioner.

Scope

Topik ini mencakup distribusi stasioner dan invarian serta keberadaan dan keunikannya untuk rantai ireduksi positif-rekuren, peran aperiodisitas dalam konvergensi, keseimbangan terperinci dan reversibilitas, teorema ergodik rantai Markov yang menyamakan rata-rata waktu jangka panjang dengan ekspektasi stasioner, laju konvergensi ke ekuilibrium dan waktu pencampuran, serta penggunaan ide-ide ini dalam Markov chain Monte Carlo.

Core questions

• Kapan rantai Markov memiliki distribusi stasioner yang unik?
• Dalam kondisi apa distribusi rantai menyatu ke distribusi stasioner tersebut?
• Apa itu keseimbangan terperinci, dan bagaimana reversibilitas menyederhanakan pencarian distribusi stasioner?
• Bagaimana rata-rata waktu jangka panjang berhubungan dengan rata-rata di bawah distribusi stasioner?

Key concepts

• distribusi stasioner
• ireduksibilitas dan aperiodisitas
• keseimbangan terperinci
• teorema ergodik
• waktu pencampuran

Key theories

Keberadaan, keunikan, dan konvergensi ke stasioneritas

Rantai Markov ireduksi positif-rekuren memiliki distribusi stasioner unik yang diberikan oleh kebalikan dari waktu kembali rata-rata, dan jika juga aperiodik, distribusi keadaan menyatu ke sana dari setiap titik awal.

Teorema ergodik rantai Markov

Untuk rantai ireduksi positif-rekuren, rata-rata jangka panjang dari fungsi keadaan menyatu hampir pasti ke ekspektasinya di bawah distribusi stasioner, analog dari hukum bilangan besar untuk data Markov yang bergantung.

Keseimbangan terperinci dan reversibilitas

Jika suatu distribusi memenuhi keseimbangan terperinci dengan probabilitas transisi, yang berarti aliran antara dua keadaan seimbang di kedua arah, maka distribusi tersebut stasioner dan rantai tersebut reversibel, suatu kondisi yang dieksploitasi untuk merancang sampler Markov chain Monte Carlo.

Clinical relevance

Hasil-hasil ini adalah mesin teoretis dari Markov chain Monte Carlo, di mana sebuah rantai dirancang untuk memiliki distribusi target sebagai hukum stasionernya sehingga sampel-sampelnya mendekati distribusi tersebut; batas waktu pencampuran memberi tahu praktisi berapa lama simulasi tersebut harus dijalankan, dan teori yang sama mengatur panjang antrean ekuilibrium dan keandalan kondisi tunak.

History

Teori ekuilibrium rantai Markov tumbuh dari karya asli Markov dan ditempatkan dalam bentuk modernnya oleh Doob, Feller, dan lainnya. Pentingnya penerapannya melonjak dengan algoritma Metropolis tahun 1953 dan generalisasi Hastings tahun 1970, yang mengubah konvergensi ke distribusi stasioner menjadi metode komputasi praktis.

Key figures

• Andrey Markov
• Nicholas Metropolis
• Wilfred Keith Hastings
• Sean Meyn

Seminal works

• norris1997

Frequently asked questions

Apakah setiap rantai Markov menyatu ke distribusi stasioner?

Tidak; konvergensi memerlukan kondisi seperti ireduksibilitas, rekurensi positif, dan aperiodisitas. Rantai periodik dapat berputar tanpa menetap, dan rantai transien atau rekuren-nol mungkin tidak memiliki distribusi stasioner sama sekali.

Mengapa reversibilitas berguna dalam praktik?

Reversibilitas melalui keseimbangan terperinci memberikan persamaan sederhana yang harus dipenuhi oleh distribusi stasioner kandidat, yang membuat distribusi stasioner mudah diverifikasi dan menyediakan prinsip desain di balik Metropolis-Hastings serta banyak algoritma Markov chain Monte Carlo lainnya.