Classificação e Recorrência de Cadeias de Markov

A classificação dos estados de uma cadeia de Markov revela quais estados são visitados infinitamente e quais são eventualmente abandonados, particionando o espaço de estados em classes comunicantes com comportamento de longo prazo compartilhado.

Definition

A classificação de estados analisa uma cadeia de Markov agrupando estados que podem se alcançar em classes comunicantes e rotulando cada estado como recorrente se a cadeia retornar a ele com probabilidade um ou transiente se houver probabilidade positiva de nunca mais retornar.

Scope

Este tópico abrange as relações de acessibilidade e comunicação, a decomposição do espaço de estados em classes comunicantes, irredutibilidade, a dicotomia recorrência-transitoriedade e seus critérios, recorrência positiva versus nula, periodicidade e o uso de probabilidades de primeira passagem e de acerto para determinar essas propriedades.

Core questions

• Quando dois estados se comunicam e como isso particiona o espaço de estados?
• O que distingue um estado recorrente de um transiente?
• Como a recorrência positiva é separada da recorrência nula?
• Que papel a periodicidade desempenha no comportamento de longo prazo da cadeia?

Key theories

Dicotomia recorrência-transitoriedade

Um estado é recorrente se e somente se o número esperado de retornos for infinito, equivalentemente a soma de suas probabilidades de retorno diverge; recorrência e transitoriedade são propriedades de classe compartilhadas por todos os estados que se comunicam.

Recorrência positiva versus nula

Um estado recorrente é positivamente recorrente quando o tempo de retorno esperado é finito e nulo recorrente quando é infinito; a recorrência positiva é necessária para a existência de uma distribuição de probabilidade estacionária.

Clinical relevance

Determinar a recorrência estabelece se um passeio aleatório retorna à sua origem, se uma fila se esvazia infinitamente e se um processo populacional persiste ou é absorvido; o resultado clássico de Polya de que o passeio aleatório simétrico simples é recorrente em uma e duas dimensões, mas transiente em três ou mais, é uma consequência canônica.

History

A questão da recorrência foi cristalizada pela análise de Polya de 1921 sobre passeios aleatórios em redes de inteiros, e a teoria sistemática baseada em classes de recorrência e transitoriedade foi desenvolvida em meados do século XX por Chung, Feller e outros, na forma encontrada nos livros didáticos modernos.

Key figures

• George Polya
• Andrey Markov
• Kai Lai Chung

Seminal works

• norris1997

Frequently asked questions

O que significa para um estado ser recorrente?

Partindo desse estado, a cadeia retorna a ele com probabilidade um, e, portanto, retorna infinitamente; um estado transiente é aquele que a cadeia pode deixar para sempre com probabilidade positiva.

Por que a dimensão importa para a recorrência de passeios aleatórios?

O passeio aleatório simétrico simples é recorrente em uma e duas dimensões, mas transiente em três ou mais, porque a probabilidade de retornar à origem depende da rapidez com que o passeio pode escapar, o que aumenta com a dimensão.