Chuỗi Markov thời gian rời rạc
Chuỗi Markov thời gian rời rạc là một chuỗi các trạng thái ngẫu nhiên phát triển theo thời gian số nguyên sao cho phân phối của trạng thái tiếp theo chỉ phụ thuộc vào trạng thái hiện tại, chứ không phụ thuộc vào toàn bộ quá khứ.
Definition
Chuỗi Markov thời gian rời rạc là một quá trình ngẫu nhiên trên không gian trạng thái đếm được được lập chỉ mục bởi các số nguyên không âm mà phân phối có điều kiện của trạng thái tiếp theo, với điều kiện biết toàn bộ lịch sử, chỉ phụ thuộc vào trạng thái hiện tại, được mã hóa bởi một ma trận xác suất chuyển đổi một bước.
Scope
Lĩnh vực này bao gồm tính chất Markov và ma trận chuyển đổi, phân loại các trạng thái theo tính giao hoán, tính lặp lại, tính thoáng qua và tính tuần hoàn, sự tồn tại và tính duy nhất của các phân phối dừng và giới hạn, tốc độ hội tụ và trộn, và các ứng dụng chính bao gồm phương pháp Monte Carlo chuỗi Markov và mô hình Markov ẩn.
Sub-topics
Core questions
- Tính chất Markov có ý nghĩa gì và nó được thể hiện như thế nào qua ma trận chuyển đổi?
- Các trạng thái được phân loại thành các lớp lặp lại, thoáng qua và tuần hoàn như thế nào?
- Khi nào một chuỗi sở hữu một phân phối dừng duy nhất và hội tụ về nó?
- Một chuỗi tiếp cận trạng thái cân bằng nhanh như thế nào, và điều này được khai thác ra sao trong mô phỏng?
Key theories
- Tính chất Markov và phương trình Chapman-Kolmogorov
- Tương lai độc lập có điều kiện với quá khứ khi biết hiện tại, do đó xác suất chuyển đổi nhiều bước được tính bằng cách nhân các ma trận chuyển đổi, điều này giúp tính toán hành vi n-bước từ ma trận một bước.
- Định lý Ergodic cho chuỗi Markov
- Một chuỗi không rút gọn, không tuần hoàn, có tính lặp lại dương có một phân phối dừng duy nhất mà phân phối biên hội tụ về đó và các trung bình thời gian của các hàm hội tụ hầu như chắc chắn, liên kết các tần số dài hạn với luật dừng.
Clinical relevance
Chuỗi Markov thời gian rời rạc mô hình hóa các bước đi ngẫu nhiên, các ảnh chụp nhanh hàng đợi, di truyền quần thể, các thuật toán xếp hạng như PageRank và các chuyển đổi trạng thái kinh tế; lý thuyết hội tụ của chúng là nền tảng của phương pháp Monte Carlo chuỗi Markov, phương pháp tính toán chủ đạo để lấy mẫu từ các phân phối xác suất phức tạp trong thống kê, vật lý và học máy.
History
Andrey Markov đã giới thiệu các chuỗi với các chuyển đổi phụ thuộc nhưng không có bộ nhớ vào năm 1906 để mở rộng định luật số lớn vượt ra ngoài tính độc lập, minh họa chúng bằng các chuỗi chữ cái trong thơ của Pushkin. Kolmogorov và Doeblin đã đặt lý thuyết hội tụ trên nền tảng lý thuyết đo lường chặt chẽ vào những năm 1930.
Key figures
- Andrey Markov
- Andrey Kolmogorov
- Wolfgang Doeblin
Related topics
Seminal works
- norris1997
Frequently asked questions
- Điều gì làm cho một quá trình trở thành chuỗi Markov?
- Tính chất Markov: khi biết trạng thái hiện tại, sự tiến hóa trong tương lai độc lập với cách chuỗi đạt đến trạng thái đó, do đó toàn bộ động lực học được mô tả bằng các xác suất chuyển đổi một bước.
- Khi nào một chuỗi Markov hội tụ về một phân phối dài hạn duy nhất?
- Khi nó không rút gọn, không tuần hoàn và có tính lặp lại dương; khi đó có một phân phối dừng duy nhất mà chuỗi hội tụ về đó bất kể trạng thái bắt đầu của nó.