Classification et récurrence des chaînes de Markov
La classification des états d'une chaîne de Markov révèle quels états sont visités infiniment souvent et lesquels sont finalement abandonnés, partitionnant l'espace des états en classes communicantes avec un comportement à long terme partagé.
Definition
La classification des états analyse une chaîne de Markov en regroupant les états qui peuvent s'atteindre mutuellement en classes communicantes et en étiquetant chaque état comme récurrent si la chaîne y retourne avec une probabilité de un, ou transitoire s'il existe une probabilité positive de ne jamais y retourner.
Scope
Ce sujet couvre les relations d'accessibilité et de communication, la décomposition de l'espace des états en classes communicantes, l'irréductibilité, la dichotomie récurrence-transience et ses critères, la récurrence positive versus nulle, la périodicité, et l'utilisation des probabilités de premier passage et d'atteinte pour déterminer ces propriétés.
Core questions
- Quand deux états communiquent-ils, et comment cela partitionne-t-il l'espace des états ?
- Qu'est-ce qui distingue un état récurrent d'un état transitoire ?
- Comment la récurrence positive est-elle séparée de la récurrence nulle ?
- Quel rôle la périodicité joue-t-elle dans le comportement à long terme de la chaîne ?
Key theories
- Dichotomie récurrence-transience
- Un état est récurrent si et seulement si le nombre attendu de retours est infini, ou de manière équivalente, si la somme de ses probabilités de retour diverge ; la récurrence et la transience sont des propriétés de classe partagées par tous les états qui communiquent.
- Récurrence positive versus récurrence nulle
- Un état récurrent est positivement récurrent lorsque le temps de retour attendu est fini et nullement récurrent lorsqu'il est infini ; la récurrence positive est nécessaire à l'existence d'une distribution de probabilité stationnaire.
Clinical relevance
Déterminer la récurrence permet de savoir si une marche aléatoire retourne à son origine, si une file d'attente se vide infiniment souvent, et si un processus de population persiste ou est absorbé ; le résultat classique de Polya selon lequel la marche aléatoire simple symétrique est récurrente en une et deux dimensions mais transitoire en trois dimensions ou plus est une conséquence canonique.
History
La question de la récurrence a été cristallisée par l'analyse de Polya en 1921 des marches aléatoires sur des réseaux entiers, et la théorie systématique de la récurrence et de la transience basée sur les classes a été développée au milieu du XXe siècle par Chung, Feller et d'autres, sous la forme que l'on retrouve dans les manuels modernes.
Key figures
- George Polya
- Andrey Markov
- Kai Lai Chung
Related topics
Seminal works
- norris1997
Frequently asked questions
- Que signifie pour un état d'être récurrent ?
- En partant de cet état, la chaîne y retourne avec une probabilité de un, et donc y retourne infiniment souvent ; un état transitoire est un état que la chaîne peut quitter pour toujours avec une probabilité positive.
- Pourquoi la dimension est-elle importante pour la récurrence des marches aléatoires ?
- La marche aléatoire simple symétrique est récurrente en dimensions un et deux mais transitoire en dimensions trois et supérieures, car la probabilité de retourner à l'origine dépend de la vitesse à laquelle la marche peut s'échapper, laquelle augmente avec la dimension.