Phân phối dừng và tính ergodic

Phân phối dừng là một phân phối xác suất trên các trạng thái mà một chuỗi Markov giữ nguyên, và trong những điều kiện nhất định, chuỗi sẽ quên điểm xuất phát của nó và hội tụ về trạng thái cân bằng này, với các giá trị trung bình theo thời gian khớp với các giá trị trung bình theo không gian.

Definition

Phân phối dừng của một chuỗi Markov là một phân phối xác suất trên các trạng thái không đổi sau một bước của chuỗi, và một chuỗi được gọi là ergodic khi, từ bất kỳ trạng thái bắt đầu nào, phân phối của nó hội tụ về phân phối dừng này và các giá trị trung bình theo thời gian của nó hội tụ về các kỳ vọng dừng.

Scope

Chủ đề này bao gồm các phân phối dừng và bất biến cùng với sự tồn tại và tính duy nhất của chúng đối với các chuỗi không rút gọn (irreducible) và tái phát dương (positive-recurrent), vai trò của tính không tuần hoàn (aperiodicity) trong sự hội tụ, cân bằng chi tiết và tính thuận nghịch, định lý ergodic của chuỗi Markov về việc cân bằng các giá trị trung bình theo thời gian dài hạn với các kỳ vọng dừng, tốc độ hội tụ về trạng thái cân bằng và thời gian trộn, và việc sử dụng các ý tưởng này trong phương pháp Monte Carlo chuỗi Markov.

Core questions

• Khi nào một chuỗi Markov có một phân phối dừng duy nhất?
• Trong những điều kiện nào thì phân phối của chuỗi hội tụ về phân phối dừng đó?
• Cân bằng chi tiết là gì, và tính thuận nghịch đơn giản hóa việc tìm phân phối dừng như thế nào?
• Các giá trị trung bình theo thời gian dài hạn liên quan đến các giá trị trung bình dưới phân phối dừng như thế nào?

Key concepts

• phân phối dừng
• tính không rút gọn và không tuần hoàn
• cân bằng chi tiết
• định lý ergodic
• thời gian trộn

Key theories

Sự tồn tại, tính duy nhất và sự hội tụ về trạng thái dừng

Một chuỗi Markov không rút gọn và tái phát dương có một phân phối dừng duy nhất được cho bởi nghịch đảo của thời gian quay lại trung bình, và nếu nó cũng không tuần hoàn thì phân phối của trạng thái hội tụ về nó từ mọi điểm bắt đầu.

Định lý ergodic của chuỗi Markov

Đối với một chuỗi không rút gọn và tái phát dương, giá trị trung bình dài hạn của một hàm của trạng thái hội tụ gần như chắc chắn về kỳ vọng của nó dưới phân phối dừng, tương tự như luật số lớn cho dữ liệu Markov phụ thuộc.

Cân bằng chi tiết và tính thuận nghịch

Nếu một phân phối thỏa mãn cân bằng chi tiết với các xác suất chuyển tiếp, nghĩa là dòng chảy giữa hai trạng thái bất kỳ cân bằng theo cả hai hướng, thì nó là dừng và chuỗi là thuận nghịch, một điều kiện được khai thác để thiết kế các bộ lấy mẫu Monte Carlo chuỗi Markov.

Clinical relevance

Những kết quả này là động lực lý thuyết của phương pháp Monte Carlo chuỗi Markov, nơi một chuỗi được thiết kế để có một phân phối mục tiêu làm luật dừng của nó để các mẫu của nó xấp xỉ phân phối đó; các giới hạn thời gian trộn cho các nhà thực hành biết cần chạy các mô phỏng đó trong bao lâu, và cùng một lý thuyết chi phối độ dài hàng đợi cân bằng và độ tin cậy trạng thái ổn định.

History

Lý thuyết cân bằng của chuỗi Markov phát triển từ công trình ban đầu của Markov và được Doob, Feller, và những người khác đưa vào dạng hiện đại. Tầm quan trọng ứng dụng của nó tăng vọt với thuật toán Metropolis năm 1953 và sự tổng quát hóa của Hastings năm 1970, biến sự hội tụ về phân phối dừng thành một phương pháp tính toán thực tế.

Key figures

• Andrey Markov
• Nicholas Metropolis
• Wilfred Keith Hastings
• Sean Meyn

Seminal works

• norris1997

Frequently asked questions

Mọi chuỗi Markov có hội tụ về một phân phối dừng không?

Không; sự hội tụ đòi hỏi các điều kiện như tính không rút gọn, tái phát dương và không tuần hoàn. Một chuỗi tuần hoàn có thể lặp lại mà không ổn định, và một chuỗi thoáng qua hoặc tái phát rỗng có thể không có phân phối dừng nào cả.

Tại sao tính thuận nghịch hữu ích trong thực tế?

Tính thuận nghịch thông qua cân bằng chi tiết cung cấp một phương trình đơn giản mà một phân phối dừng tiềm năng phải thỏa mãn, điều này vừa giúp dễ dàng xác minh phân phối dừng vừa cung cấp nguyên tắc thiết kế đằng sau Metropolis-Hastings và nhiều thuật toán Monte Carlo chuỗi Markov khác.