Sprungprozesse und eingebettete Ketten

Eine kontinuierliche Markov-Kette kann in eine diskrete Sprungkette, die die Abfolge der besuchten Zustände aufzeichnet, und exponentielle Verweildauern, die die Verweildauer in jedem Zustand aufzeichnen, zerlegt werden.

Definition

Die eingebettete Kette einer kontinuierlichen Markov-Kette ist die diskrete Markov-Kette der sukzessiv besuchten Zustände, die zusammen mit unabhängigen exponentiellen Verweildauern, deren Raten vom aktuellen Zustand abhängen, den kontinuierlichen Prozess vollständig bestimmt.

Scope

Dieses Thema behandelt die eingebettete Sprungkette und ihre Übergangswahrscheinlichkeiten, exponentielle Verweildauern mit zustandsabhängigen Raten, die Äquivalenz zwischen der Generatorbeschreibung und der Sprung-Halte-Konstruktion, Explosion und die Möglichkeit unendlich vieler Sprünge in endlicher Zeit sowie die Verwendung der Uniformisierung zur Beziehung von kontinuierlichen zu diskreten Ketten.

Core questions

• Wie wird die eingebettete Sprungkette aus einer kontinuierlichen Kette extrahiert?
• Warum sind Verweildauern exponentiell verteilt und wie hängen ihre Raten vom Zustand ab?
• Wann kann die kontinuierliche Kette explodieren, indem sie unendlich viele Sprünge in endlicher Zeit macht?
• Wie wandelt die Uniformisierung eine kontinuierliche Kette in eine diskrete um?

Key theories

Sprung-Halte-Konstruktion

Ausgehend von einem Zustand wartet die Kette eine exponentielle Zeit, deren Rate die gesamte Austrittsrate ist, und springt dann zu einem neuen Zustand, der durch die Übergangswahrscheinlichkeiten der eingebetteten Kette gewählt wird, wodurch der vollständige kontinuierliche Prozess aus diesen beiden Bestandteilen rekonstruiert wird.

Explosion und Nicht-Konservativität

Wenn die Austrittsraten entlang einer Trajektorie schnell genug ansteigen, können die kumulativen Verweildauern konvergieren und die Kette unendlich viele Sprünge in endlicher Zeit machen, eine Explosion, die ausgeschlossen werden muss, damit das Übergangs-Halbgruppen-System ehrlich ist.

Clinical relevance

Die Sprung-Halte-Konstruktion ist die Grundlage der exakten stochastischen Simulation von Markov-Ketten, einschließlich des Gillespie-Algorithmus für chemische Reaktionsnetzwerke, und die Uniformisierung bietet eine stabile numerische Methode zur Berechnung transienter Verteilungen in Zuverlässigkeits- und Leistungsmodellen.

History

Feller und Doob etablierten in den 1940er Jahren die Sprung-Halte-Darstellung und das Explosionsphänomen und klärten, wann eine kontinuierliche Kette eindeutig durch ihre Raten bestimmt wird; die Konstruktion untermauerte später exakte Simulationsmethoden wie Gillespies Algorithmus von 1976 für die chemische Kinetik.

Key figures

• William Feller
• Joseph Doob
• Daniel Gillespie

Seminal works

• norris1997

Frequently asked questions

Was ist die eingebettete Kette einer kontinuierlichen Markov-Kette?

Es ist die diskrete Markov-Kette, die nur die Abfolge der verschiedenen Zustände aufzeichnet, die der Prozess besucht, ohne zu berücksichtigen, wie lange er in jedem verweilt, und sie erfasst, wohin der Prozess geht.

Was ist eine Explosion?

Eine Explosion tritt auf, wenn eine kontinuierliche Kette innerhalb eines endlichen Zeitintervalls unendlich viele Sprünge macht, weil ihre Verweildauern zu schnell schrumpfen; wohlgeformte Ketten werden so konstruiert, dass dies vermieden wird.