Stationäre Verteilungen und Konvergenz

Eine stationäre Verteilung ist ein Wahrscheinlichkeitsgesetz, das eine Markow-Kette unter ihrer Dynamik beibehält; unter weitreichenden Bedingungen „vergisst“ die Kette ihren Startpunkt und konvergiert zu diesem Gleichgewicht.

Definition

Eine stationäre Verteilung ist ein Wahrscheinlichkeitsvektor, der durch die Übergangsmatrix linksinvariant bleibt, sodass eine darin gestartete Kette zu jedem späteren Zeitpunkt gemäß dieser Verteilung verteilt bleibt; die Konvergenztheorie untersucht, wann und wie schnell sich eine beliebige Anfangsverteilung diesem Gleichgewicht nähert.

Scope

Dieses Thema behandelt invariante und stationäre Verteilungen und deren Charakterisierung als linke Eigenvektoren der Übergangsmatrix, Existenz- und Eindeutigkeitskriterien, detailliertes Gleichgewicht und Reversibilität, den Konvergenzsatz für irreduzible aperiodische Ketten, die Totalvariationsdistanz und Mischzeiten sowie Kopplungs- und Spektralmethoden zur Begrenzung der Konvergenzrate.

Core questions

• Was ist eine stationäre Verteilung und wie wird sie aus der Übergangsmatrix berechnet?
• Unter welchen Bedingungen ist die stationäre Verteilung eindeutig und der Grenzwert der Kette?
• Was bewirkt die Reversibilität zusätzlich, und wie ist sie mit dem detaillierten Gleichgewicht verbunden?
• Wie wird die Konvergenzgeschwindigkeit zum Gleichgewicht quantifiziert und begrenzt?

Key theories

Konvergenz-zum-Gleichgewicht-Theorem

Für eine irreduzible, aperiodische, positiv-rekurrente Kette konvergiert die Verteilung nach n Schritten von jedem Startpunkt aus zur eindeutigen stationären Verteilung, sodass die Kette asymptotisch die Erinnerung an ihren Ursprung verliert.

Reversibilität und detailliertes Gleichgewicht

Eine Kette, die die detaillierten Gleichgewichtsbedingungen bezüglich einer Verteilung erfüllt, ist reversibel und hat diese Verteilung als stationär; Reversibilität führt zu selbstadjungierten Übergangsoperatoren und liegt spektralen Grenzen für das Mischen zugrunde.

Clinical relevance

Stationäre Verteilungen beschreiben den langfristigen Zeitanteil, den ein System in jedem Zustand verbringt, und geben Warteschlangenlängen im stationären Zustand, Gleichgewichtsfrequenzen in der Genetik und die Zielgesetze an, die durch Markow-Ketten-Monte-Carlo abgetastet werden; Mischzeitgrenzen bestimmen, wie lange solche Simulationen laufen müssen, um zuverlässige Stichproben zu erzeugen.

History

Doeblin und Kolmogorow begründeten die Konvergenztheorie in den 1930er Jahren unter Verwendung von Kopplungs- und analytischen Argumenten. Die quantitative Untersuchung der Mischzeiten, die von Diaconis und Mitarbeitern ab den 1980er Jahren präzisiert wurde, verband Konvergenzraten mit der Spektrallücke und mit Phänomenen wie dem Cutoff in der Totalvariationsdistanz.

Key figures

• Wolfgang Doeblin
• Andrey Kolmogorov
• Persi Diaconis

Seminal works

• levinPeres2017

Frequently asked questions

Wie findet man die stationäre Verteilung einer Kette?

Man löst nach dem Wahrscheinlichkeitsvektor auf, der unverändert bleibt, wenn er mit der Übergangsmatrix multipliziert wird; für reversible Ketten liefern die detaillierten Gleichgewichtsbedingungen dies oft direkter.

Was ist eine Mischzeit?

Es ist die Anzahl der Schritte, nach denen die Verteilung der Kette innerhalb einer geringen Totalvariationsdistanz zu ihrer stationären Verteilung liegt, was misst, wie schnell die Kette das Gleichgewicht erreicht.