Chuỗi Markov thời gian liên tục

Một chuỗi Markov thời gian liên tục giữ mỗi trạng thái trong một khoảng thời gian theo phân phối mũ và sau đó nhảy sang trạng thái khác, động lực của nó được điều chỉnh bởi một ma trận sinh của các tốc độ chuyển đổi thay vì một ma trận chuyển đổi một bước.

Definition

Một chuỗi Markov thời gian liên tục là một quá trình Markov trên một không gian trạng thái đếm được mà vẫn ở mỗi trạng thái trong một khoảng thời gian phân phối theo hàm mũ và sau đó nhảy theo các xác suất cố định, với các tốc độ giữ và xác suất nhảy được tóm tắt trong một ma trận sinh.

Scope

Chủ đề này bao gồm cấu trúc nhảy và giữ với thời gian giữ theo phân phối mũ và một chuỗi nhảy nhúng, ma trận sinh hoặc ma trận Q của các tốc độ chuyển đổi, các phương trình vi phân Kolmogorov thuận và nghịch cho các xác suất chuyển đổi, nghiệm ma trận mũ, sự bùng nổ và tính đều đặn, các quá trình sinh-tử, và hành vi dài hạn được điều chỉnh bởi các phân phối dừng.

Core questions

• Một chuỗi thời gian liên tục được xây dựng như thế nào từ thời gian giữ theo phân phối mũ và xác suất nhảy?
• Ma trận sinh là gì, và nó xác định các xác suất chuyển đổi như thế nào?
• Các phương trình Kolmogorov thuận và nghịch mô tả sự tiến hóa theo thời gian như thế nào?
• Khi nào chuỗi có thể thực hiện vô số bước nhảy trong thời gian hữu hạn, và làm thế nào để loại trừ điều này?

Key concepts

• ma trận sinh
• thời gian giữ theo phân phối mũ
• chuỗi nhảy nhúng
• phương trình Kolmogorov thuận và nghịch
• quá trình sinh-tử

Key theories

Ma trận sinh và các phương trình Kolmogorov

Các phần tử ngoài đường chéo của ma trận sinh cho biết tốc độ nhảy và đường chéo cho biết tổng tốc độ thoát; ma trận xác suất chuyển đổi giải các phương trình vi phân thuận và nghịch được điều khiển bởi ma trận sinh, với ma trận mũ của ma trận sinh là nghiệm hình thức của nó.

Cấu trúc chuỗi nhảy và thời gian giữ

Một chuỗi thời gian liên tục có thể được hiện thực hóa bằng một chuỗi nhảy thời gian rời rạc nhúng cùng với thời gian giữ theo phân phối mũ phụ thuộc trạng thái, điều này tách biệt nơi quá trình đi từ thời gian nó chờ đợi và làm cho việc mô phỏng và phân tích trở nên đơn giản.

Clinical relevance

Các chuỗi Markov thời gian liên tục mô hình hóa các mạng hàng đợi và viễn thông, động học của các kênh ion và mạng phản ứng hóa học, các mô hình dân số và dịch tễ học trong thời gian liên tục, và các mô hình di chuyển xếp hạng rủi ro tín dụng; công thức sinh của chúng kết nối trực tiếp với các phương trình vi phân được sử dụng để tính toán hành vi thoáng qua và cân bằng.

History

Kolmogorov đã đưa ra các phương trình vi phân thuận và nghịch cho các xác suất chuyển đổi thời gian liên tục vào năm 1931, và Feller đã phân tích các nghiệm của chúng, sự bùng nổ và hành vi biên, thiết lập lý thuyết dựa trên ma trận sinh làm nền tảng cho các phương pháp xử lý hiện đại của các quá trình Markov nhảy.

Key figures

• Andrey Kolmogorov
• William Feller
• Agner Krarup Erlang

Seminal works

• norris1997

Frequently asked questions

Chuỗi Markov thời gian liên tục khác với chuỗi thời gian rời rạc như thế nào?

Một chuỗi thời gian rời rạc di chuyển theo các bước số nguyên cố định, trong khi một chuỗi thời gian liên tục ở mỗi trạng thái trong một khoảng thời gian ngẫu nhiên theo phân phối mũ trước khi nhảy, do đó động lực của nó được mô tả bằng tốc độ chuyển đổi trong một ma trận sinh thay vì bằng xác suất chuyển đổi một bước.

Sự bùng nổ trong ngữ cảnh này là gì?

Sự bùng nổ là khả năng chuỗi thực hiện vô số bước nhảy trong một khoảng thời gian hữu hạn, điều này có thể xảy ra khi tốc độ giữ tăng lên vô hạn; một chuỗi được gọi là đều đặn hoặc không bùng nổ khi xác suất này bằng không.