Phân loại và Tính lặp lại của Chuỗi Markov

Việc phân loại các trạng thái của một chuỗi Markov cho thấy trạng thái nào được ghé thăm vô hạn lần và trạng thái nào cuối cùng bị bỏ qua, phân chia không gian trạng thái thành các lớp giao tiếp với hành vi dài hạn chung.

Definition

Phân loại trạng thái phân tích một chuỗi Markov bằng cách nhóm các trạng thái có thể tiếp cận lẫn nhau thành các lớp giao tiếp và gán nhãn cho mỗi trạng thái là lặp lại nếu chuỗi quay trở lại trạng thái đó với xác suất bằng một hoặc thoáng qua nếu có xác suất dương không bao giờ quay trở lại.

Scope

Chủ đề này bao gồm các mối quan hệ về khả năng tiếp cận và giao tiếp, sự phân tách không gian trạng thái thành các lớp giao tiếp, tính bất khả quy, sự phân đôi giữa tính lặp lại và tính thoáng qua cùng các tiêu chí của nó, tính lặp lại dương so với tính lặp lại rỗng, tính tuần hoàn và việc sử dụng xác suất lần đầu tiên và xác suất đạt được để xác định các thuộc tính này.

Core questions

• Khi nào hai trạng thái giao tiếp, và điều này phân chia không gian trạng thái như thế nào?
• Điều gì phân biệt một trạng thái lặp lại với một trạng thái thoáng qua?
• Tính lặp lại dương được phân biệt với tính lặp lại rỗng như thế nào?
• Tính tuần hoàn đóng vai trò gì trong hành vi dài hạn của chuỗi?

Key theories

Sự phân đôi giữa tính lặp lại và tính thoáng qua

Một trạng thái là lặp lại nếu và chỉ nếu số lần quay trở lại dự kiến là vô hạn, tương đương với tổng các xác suất quay trở lại của nó phân kỳ; tính lặp lại và tính thoáng qua là các thuộc tính lớp được chia sẻ bởi tất cả các trạng thái giao tiếp.

Tính lặp lại dương so với tính lặp lại rỗng

Một trạng thái lặp lại là lặp lại dương khi thời gian quay trở lại dự kiến là hữu hạn và lặp lại rỗng khi nó là vô hạn; tính lặp lại dương là cần thiết cho sự tồn tại của một phân phối xác suất dừng.

Clinical relevance

Việc xác định tính lặp lại quyết định liệu một bước đi ngẫu nhiên có quay trở lại điểm xuất phát của nó hay không, liệu một hàng đợi có trống vô hạn lần hay không, và liệu một quá trình dân số có tồn tại hay bị hấp thụ; kết quả kinh điển của Polya rằng bước đi ngẫu nhiên đối xứng đơn giản là lặp lại trong một và hai chiều nhưng thoáng qua trong ba chiều trở lên là một hệ quả điển hình.

History

Vấn đề về tính lặp lại đã được Polya làm rõ trong phân tích năm 1921 về các bước đi ngẫu nhiên trên các mạng lưới số nguyên, và lý thuyết hệ thống dựa trên lớp về tính lặp lại và tính thoáng qua đã được Chung, Feller và những người khác phát triển vào giữa thế kỷ XX thành dạng được tìm thấy trong các sách giáo khoa hiện đại.

Key figures

• George Polya
• Andrey Markov
• Kai Lai Chung

Seminal works

• norris1997

Frequently asked questions

Một trạng thái lặp lại có nghĩa là gì?

Bắt đầu từ trạng thái đó, chuỗi quay trở lại trạng thái đó với xác suất bằng một, và do đó quay trở lại vô hạn lần; một trạng thái thoáng qua là trạng thái mà chuỗi có thể rời đi vĩnh viễn với xác suất dương.

Tại sao chiều lại quan trọng đối với tính lặp lại của bước đi ngẫu nhiên?

Bước đi ngẫu nhiên đối xứng đơn giản là lặp lại trong một và hai chiều nhưng thoáng qua trong ba chiều trở lên, bởi vì xác suất quay trở lại điểm xuất phát phụ thuộc vào tốc độ chuỗi có thể thoát ra, tốc độ này tăng theo chiều.