Kontinuierliche Markov-Ketten

Eine kontinuierliche Markov-Kette bewegt sich zu zufälligen Zeitpunkten zwischen einem diskreten Satz von Zuständen und verweilt in jedem Zustand für eine exponentiell verteilte Dauer, bevor sie gemäß festen Übergangsraten springt.

Definition

Eine kontinuierliche Markov-Kette ist ein stochastischer Prozess auf einem abzählbaren Zustandsraum, indiziert durch kontinuierliche Zeit, dessen Zukunft, gegeben die Gegenwart, unabhängig von der Vergangenheit ist, gekennzeichnet durch eine Generatormatrix von Übergangsraten, sodass die Verweildauern exponentiell sind und Sprünge einer eingebetteten Kette folgen.

Scope

Dieser Bereich umfasst die Beschreibung der Verweildauer und der Sprungkette, den infinitesimalen Generator und die Übergangsraten, die Kolmogorov-Vorwärts- und Rückwärts-Differentialgleichungen, stationäre Verteilungen und Reversibilität, Geburts- und Todesprozesse sowie die Konstruktion von Ketten aus ihren eingebetteten diskreten Sprungketten.

Sub-topics

• birth death processes
• jump processes and embedded chains
• kolmogorov equations and generators

Core questions

• Wie definieren exponentielle Verweildauern und Sprungwahrscheinlichkeiten eine kontinuierliche Kette?
• Was ist die Generatormatrix und wie kodiert sie Übergangsraten?
• Wie beschreiben die Kolmogorov-Vorwärts- und Rückwärtsgleichungen die Entwicklung von Übergangswahrscheinlichkeiten?
• Wann besitzt eine kontinuierliche Kette eine stationäre Verteilung?

Key theories

Generator und die Kolmogorov-Gleichungen

Der infinitesimale Generator sammelt die momentanen Übergangsraten, und die Übergangswahrscheinlichkeitsmatrix löst die Vorwärts- und Rückwärts-Kolmogorov-Differentialgleichungen, wodurch die Zeitentwicklung als Matrixexponential des Generators gegeben ist.

Sprungkette und Verweildauer-Konstruktion

Eine kontinuierliche Kette wird aus einer eingebetteten diskreten Sprungkette aufgebaut, die aufeinanderfolgende Zustände und unabhängige exponentielle Verweildauern wählt, deren Raten vom aktuellen Zustand abhängen, wodurch getrennt wird, wohin die Kette geht und wann sie sich bewegt.

Clinical relevance

Kontinuierliche Markov-Ketten modellieren Warteschlangensysteme, chemische Reaktionsnetzwerke, Populationsdynamiken, die Ausbreitung von Epidemien und die Zuverlässigkeit von Mehrkomponentensystemen. Sie bieten handhabbare kontinuierliche Zeitbeschreibungen, deren Gleichgewichts- und Übergangsverhalten aus dem Generator berechnet werden kann.

History

Kolmogorovs Arbeit von 1931 über analytische Methoden in der Wahrscheinlichkeitstheorie führte die Differentialgleichungen ein, die die Übergangswahrscheinlichkeiten regeln, und Fellers Arbeiten in den 1930er und 1940er Jahren klärten die Konstruktion und das Explosionsverhalten von kontinuierlichen Ketten und etablierten die heute verwendete generatorbasierte Theorie.

Key figures

• Andrey Kolmogorov
• William Feller
• Alfred Lotka

Seminal works

• norris1997

Frequently asked questions

Wie unterscheidet sich eine kontinuierliche Markov-Kette von einer diskreten?

Übergänge erfolgen zu zufälligen kontinuierlichen Zeitpunkten statt in festen Schritten; die Kette verweilt in jedem Zustand für eine exponentielle Zeit und springt dann, wobei die Dynamik durch Übergangsraten statt durch eine Ein-Schritt-Wahrscheinlichkeitsmatrix bestimmt wird.

Was ist der infinitesimale Generator?

Es ist die Matrix der Übergangsraten, deren Nicht-Diagonaleinträge die Rate des Springens zwischen Zuständen angeben und deren Zeilensummen Null ergeben; die Übergangswahrscheinlichkeiten über die Zeit sind das Matrixexponential des Generators multipliziert mit der verstrichenen Zeit.