Классификация и возвратность цепей Маркова

Классификация состояний цепи Маркова позволяет определить, какие состояния посещаются бесконечно часто, а какие в конечном итоге покидаются, разделяя пространство состояний на сообщающиеся классы с общим долгосрочным поведением.

Definition

Классификация состояний анализирует цепь Маркова путем группировки состояний, которые могут достигать друг друга, в сообщающиеся классы и маркировки каждого состояния как возвратного, если цепь возвращается в него с вероятностью единица, или транзиентного, если существует положительная вероятность никогда не вернуться.

Scope

Эта тема охватывает отношения доступности и сообщаемости, декомпозицию пространства состояний на сообщающиеся классы, неприводимость, дихотомию возвратность-транзиентность и ее критерии, положительную и нулевую возвратность, периодичность, а также использование вероятностей первого достижения и попадания для определения этих свойств.

Core questions

• Когда два состояния сообщаются, и как это разделяет пространство состояний?
• Что отличает возвратное состояние от транзиентного?
• Как отделяется положительная возвратность от нулевой возвратности?
• Какую роль играет периодичность в долгосрочном поведении цепи?

Key theories

Дихотомия возвратность-транзиентность

Состояние является возвратным тогда и только тогда, когда ожидаемое число возвратов бесконечно, или, эквивалентно, сумма вероятностей его возврата расходится; возвратность и транзиентность являются свойствами класса, общими для всех сообщающихся состояний.

Положительная против нулевой возвратности

Возвратное состояние является положительно возвратным, когда ожидаемое время возврата конечно, и нулево возвратным, когда оно бесконечно; положительная возвратность необходима для существования стационарного распределения вероятностей.

Clinical relevance

Определение возвратности позволяет установить, возвращается ли случайное блуждание к своему началу, опустошается ли очередь бесконечно часто, и сохраняется ли популяционный процесс или поглощается; классический результат Пойа о том, что простое симметричное случайное блуждание является возвратным в одном и двух измерениях, но транзиентным в трех и более измерениях, является каноническим следствием.

History

Вопрос возвратности был кристаллизован анализом случайных блужданий на целочисленных решетках, проведенным Пойа в 1921 году, а систематическая классовая теория возвратности и транзиентности была разработана в середине XX века Чунгом, Феллером и другими в той форме, которая представлена в современных учебниках.

Key figures

• George Polya
• Andrey Markov
• Kai Lai Chung

Seminal works

• norris1997

Frequently asked questions

Что означает, что состояние является возвратным?

Начиная с этого состояния, цепь возвращается в него с вероятностью единица и, следовательно, возвращается бесконечно часто; транзиентное состояние — это то, которое цепь может покинуть навсегда с положительной вероятностью.

Почему размерность имеет значение для возвратности случайного блуждания?

Простое симметричное случайное блуждание является возвратным в одном и двух измерениях, но транзиентным в трех и более измерениях, потому что вероятность возвращения к началу зависит от того, насколько быстро блуждание может удалиться, что увеличивается с размерностью.