Kontinuierliche Markov-Ketten

Eine kontinuierliche Markov-Kette verweilt für eine exponentielle Zeit in jedem Zustand und springt dann zu einem anderen, wobei ihre Dynamik durch eine Generatormatrix von Übergangsraten und nicht durch eine Einzelschritt-Übergangsmatrix bestimmt wird.

Definition

Eine kontinuierliche Markov-Kette ist ein Markov-Prozess auf einem abzählbaren Zustandsraum, der in jedem Zustand für eine exponentiell verteilte Zeit verweilt und dann gemäß festen Wahrscheinlichkeiten springt, wobei die Verweilraten und Sprungwahrscheinlichkeiten in einer Generatormatrix zusammengefasst sind.

Scope

Das Thema umfasst die Sprung- und Verweilkonstruktion mit exponentiellen Verweilzeiten und einer eingebetteten Sprungkette, die Generator- oder Q-Matrix der Übergangsraten, die Kolmogorowschen Vorwärts- und Rückwärts-Differentialgleichungen für die Übergangswahrscheinlichkeiten, die Matrix-Exponentiallösung, Explosion und Regularität, Geburts- und Todesprozesse sowie das Langzeitverhalten, das durch stationäre Verteilungen bestimmt wird.

Core questions

• Wie wird eine kontinuierliche Kette aus exponentiellen Verweilzeiten und Sprungwahrscheinlichkeiten aufgebaut?
• Was ist die Generatormatrix und wie bestimmt sie die Übergangswahrscheinlichkeiten?
• Wie beschreiben die Kolmogorowschen Vorwärts- und Rückwärtsgleichungen die zeitliche Entwicklung?
• Wann kann die Kette unendlich viele Sprünge in endlicher Zeit machen und wie wird dies ausgeschlossen?

Key concepts

• Generatormatrix
• exponentielle Verweilzeiten
• eingebettete Sprungkette
• Kolmogorowsche Vorwärts- und Rückwärtsgleichungen
• Geburts- und Todesprozess

Key theories

Generator und die Kolmogorowschen Gleichungen

Die nicht-diagonalen Generatoreinträge geben die Sprungraten an und die Diagonale die gesamten Austrittsraten; die Übergangswahrscheinlichkeitsmatrix löst die Vorwärts- und Rückwärts-Differentialgleichungen, die vom Generator angetrieben werden, mit dem Matrixexponential des Generators als formale Lösung.

Sprungkette und Verweilzeitkonstruktion

Eine kontinuierliche Kette kann durch eine eingebettete diskrete Sprungkette zusammen mit zustandsabhängigen exponentiellen Verweilzeiten realisiert werden, was trennt, wohin der Prozess geht und wie lange er wartet, und Simulation und Analyse vereinfacht.

Clinical relevance

Kontinuierliche Markov-Ketten modellieren Warteschlangen- und Telekommunikationsnetze, die Kinetik von Ionenkanälen und chemischen Reaktionsnetzwerken, Populations- und Epidemiemodelle in kontinuierlicher Zeit sowie die Rating-Migrationsmodelle des Kreditrisikos; ihre Generatorformulierung verbindet sich direkt mit den Differentialgleichungen, die zur Berechnung des transienten und Gleichgewichtsverhaltens verwendet werden.

History

Kolmogorow leitete 1931 die Vorwärts- und Rückwärts-Differentialgleichungen für kontinuierliche Übergangswahrscheinlichkeiten ab, und Feller analysierte deren Lösungen, Explosion und Randverhalten, wodurch die generatorbasierte Theorie etabliert wurde, die modernen Behandlungen von Sprung-Markov-Prozessen zugrunde liegt.

Key figures

• Andrey Kolmogorov
• William Feller
• Agner Krarup Erlang

Seminal works

• norris1997

Frequently asked questions

Wie unterscheidet sich eine kontinuierliche Markov-Kette von einer diskreten?

Eine diskrete Kette bewegt sich in festen ganzzahligen Schritten, während eine kontinuierliche Kette in jedem Zustand für eine zufällige exponentielle Zeit verweilt, bevor sie springt, sodass ihre Dynamik durch Übergangsraten in einem Generator und nicht durch Einzelschritt-Übergangswahrscheinlichkeiten beschrieben wird.

Was ist in diesem Kontext eine Explosion?

Explosion ist die Möglichkeit, dass die Kette in einem endlichen Zeitintervall unendlich viele Sprünge macht, was passieren kann, wenn die Verweilraten unbegrenzt ansteigen; eine Kette wird als regulär oder nicht-explosiv bezeichnet, wenn dies mit Wahrscheinlichkeit Null geschieht.