연속 시간 마르코프 연쇄

연속 시간 마르코프 연쇄는 각 상태에 지수 시간 동안 머무른 다음 다른 상태로 점프하며, 그 동역학은 단일 단계 전이 행렬이 아닌 전이율의 생성 행렬에 의해 지배됩니다.

Definition

연속 시간 마르코프 연쇄는 각 상태에 지수 분포된 시간 동안 머무른 다음 고정된 확률에 따라 점프하는 가산 상태 공간 상의 마르코프 과정이며, 체류율과 점프 확률은 생성 행렬에 요약됩니다.

Scope

이 주제는 지수 체류 시간과 내장된 점프 연쇄를 이용한 점프-체류 구성, 전이율의 생성자 또는 Q-행렬, 전이 확률에 대한 콜모고로프 전방 및 후방 미분 방정식, 행렬 지수 해, 폭발 및 규칙성, 출생-사망 과정, 그리고 정상 분포에 의해 지배되는 장기적 행동을 다룹니다.

Core questions

• 연속 시간 연쇄는 지수 체류 시간과 점프 확률로부터 어떻게 구성되는가?
• 생성 행렬은 무엇이며, 전이 확률을 어떻게 결정하는가?
• 콜모고로프 전방 및 후방 방정식은 시간 경과에 따른 진화를 어떻게 설명하는가?
• 연쇄가 유한 시간 내에 무한히 많은 점프를 할 수 있는 경우는 언제이며, 이는 어떻게 배제되는가?

Key concepts

• 생성 행렬
• 지수 체류 시간
• 내장된 점프 연쇄
• 콜모고로프 전방 및 후방 방정식
• 출생-사망 과정

Key theories

생성자와 콜모고로프 방정식

비대각선 생성자 항목은 점프율을 제공하고 대각선 항목은 총 이탈율을 제공합니다. 전이 확률 행렬은 생성자에 의해 구동되는 전방 및 후방 미분 방정식을 풀며, 생성자의 행렬 지수가 형식적인 해입니다.

점프 연쇄 및 체류 시간 구성

연속 시간 연쇄는 내장된 이산 시간 점프 연쇄와 상태 의존적 지수 체류 시간을 통해 구현될 수 있으며, 이는 과정이 어디로 가는지를 얼마나 오래 기다리는지와 분리하여 시뮬레이션 및 분석을 용이하게 합니다.

Clinical relevance

연속 시간 마르코프 연쇄는 큐잉 및 통신 네트워크, 이온 채널 및 화학 반응 네트워크의 동역학, 연속 시간에서의 개체군 및 전염병 모델, 신용 위험의 등급-이동 모델을 모델링합니다. 이들의 생성자 공식화는 과도 및 평형 행동을 계산하는 데 사용되는 미분 방정식과 직접적으로 연결됩니다.

History

콜모고로프는 1931년에 연속 시간 전이 확률에 대한 전방 및 후방 미분 방정식을 도출했으며, 펠러는 이들의 해, 폭발, 경계 행동을 분석하여 점프 마르코프 과정의 현대적 처리에 기초가 되는 생성자 기반 이론을 확립했습니다.

Key figures

• Andrey Kolmogorov
• William Feller
• Agner Krarup Erlang

Seminal works

• norris1997

Frequently asked questions

연속 시간 마르코프 연쇄는 이산 시간 마르코프 연쇄와 어떻게 다른가?

이산 시간 연쇄는 고정된 정수 단계로 움직이는 반면, 연속 시간 연쇄는 각 상태에 무작위 지수 시간 동안 머무른 다음 점프하므로, 그 동역학은 단일 단계 전이 확률이 아닌 생성자의 전이율로 설명됩니다.

이 맥락에서 '폭발'이란 무엇인가?

폭발은 연쇄가 유한 시간 간격 내에 무한히 많은 점프를 할 가능성을 의미하며, 이는 체류율이 무한히 증가할 때 발생할 수 있습니다. 이러한 가능성이 0일 때 연쇄는 규칙적 또는 비폭발적이라고 불립니다.