Stationäre Verteilungen und Ergodizität

Eine stationäre Verteilung ist eine Wahrscheinlichkeitsverteilung über Zustände, die eine Markow-Kette unverändert lässt, und unter milden Bedingungen vergisst die Kette ihren Startpunkt und konvergiert zu diesem Gleichgewicht, wobei Zeitmittelwerte mit Raummittelwerten übereinstimmen.

Definition

Eine stationäre Verteilung einer Markow-Kette ist eine Wahrscheinlichkeitsverteilung über die Zustände, die unter einem Schritt der Kette invariant ist, und eine Kette ist ergodisch, wenn von jedem Startzustand aus ihre Verteilung zu dieser stationären Verteilung konvergiert und ihre Zeitmittelwerte zu stationären Erwartungswerten konvergieren.

Scope

Das Thema umfasst stationäre und invariante Verteilungen sowie deren Existenz und Einzigartigkeit für irreduzible positiv-rekurrente Ketten, die Rolle der Aperiodizität bei der Konvergenz, detaillierte Balance und Reversibilität, den Ergodensatz für Markow-Ketten, der langfristige Zeitmittelwerte mit stationären Erwartungswerten gleichsetzt, die Konvergenzrate zum Gleichgewicht und Mischzeiten, sowie die Anwendung dieser Konzepte in Markov-Chain-Monte-Carlo-Methoden.

Core questions

• Wann besitzt eine Markow-Kette eine eindeutige stationäre Verteilung?
• Unter welchen Bedingungen konvergiert die Verteilung der Kette zu dieser stationären Verteilung?
• Was ist detaillierte Balance, und wie vereinfacht die Reversibilität das Finden der stationären Verteilung?
• Wie verhalten sich langfristige Zeitmittelwerte zu Mittelwerten unter der stationären Verteilung?

Key concepts

• stationäre Verteilung
• Irreduzibilität und Aperiodizität
• detaillierte Balance
• Ergodensatz
• Mischzeit

Key theories

Existenz, Einzigartigkeit und Konvergenz zur Stationarität

Eine irreduzible positiv-rekurrente Markow-Kette besitzt eine eindeutige stationäre Verteilung, die durch die Kehrwerte der mittleren Rückkehrzeiten gegeben ist, und wenn sie zusätzlich aperiodisch ist, konvergiert die Verteilung des Zustands von jedem Startpunkt aus zu dieser.

Ergodensatz für Markow-Ketten

Für eine irreduzible positiv-rekurrente Kette konvergiert der langfristige Mittelwert einer Funktion des Zustands fast sicher zu ihrem Erwartungswert unter der stationären Verteilung, dem Analogon des Gesetzes der großen Zahlen für abhängige Markow-Daten.

Detaillierte Balance und Reversibilität

Wenn eine Verteilung die detaillierte Balance mit den Übergangswahrscheinlichkeiten erfüllt, was bedeutet, dass der Fluss zwischen zwei beliebigen Zuständen in beide Richtungen ausgeglichen ist, dann ist sie stationär und die Kette ist reversibel, eine Bedingung, die zur Entwicklung von Markov-Chain-Monte-Carlo-Samplern genutzt wird.

Clinical relevance

Diese Ergebnisse sind der theoretische Motor von Markov-Chain-Monte-Carlo-Methoden, bei denen eine Kette so konzipiert wird, dass eine Zielverteilung ihre stationäre Gesetzmäßigkeit ist, sodass ihre Stichproben diese Verteilung annähern; Mischzeit-Grenzen geben Praktikern an, wie lange solche Simulationen laufen sollen, und dieselbe Theorie regelt Gleichgewichts-Warteschlangenlängen und stationäre Zuverlässigkeit.

History

Die Gleichgewichtstheorie der Markow-Ketten entwickelte sich aus Markows ursprünglicher Arbeit und wurde von Doob, Feller und anderen in ihre moderne Form gebracht. Ihre angewandte Bedeutung stieg mit dem Metropolis-Algorithmus von 1953 und Hastings' Verallgemeinerung von 1970, die die Konvergenz zu einer stationären Verteilung in eine praktische Berechnungsmethode verwandelte.

Key figures

• Andrey Markov
• Nicholas Metropolis
• Wilfred Keith Hastings
• Sean Meyn

Seminal works

• norris1997

Frequently asked questions

Konvergiert jede Markow-Kette zu einer stationären Verteilung?

Nein; Konvergenz erfordert Bedingungen wie Irreduzibilität, positive Rekurrenz und Aperiodizität. Eine periodische Kette kann ohne sich zu stabilisieren zyklisch sein, und eine transiente oder null-rekurrente Kette hat möglicherweise überhaupt keine stationäre Verteilung.

Warum ist Reversibilität in der Praxis nützlich?

Die Reversibilität über die detaillierte Balance liefert eine einfache Gleichung, die eine potenzielle stationäre Verteilung erfüllen muss, was sowohl die Überprüfung der stationären Verteilung erleichtert als auch das Entwurfsprinzip hinter Metropolis-Hastings und vielen anderen Markov-Chain-Monte-Carlo-Algorithmen darstellt.