Distributions stationnaires et ergodicité

Une distribution stationnaire est une distribution de probabilité sur les états qu'une chaîne de Markov laisse inchangée. Sous des conditions peu restrictives, la chaîne oublie son point de départ et converge vers cet équilibre, les moyennes temporelles correspondant alors aux moyennes d'ensemble.

Definition

Une distribution stationnaire d'une chaîne de Markov est une distribution de probabilité sur les états qui est invariante après une étape de la chaîne. Une chaîne est dite ergodique lorsque, à partir de n'importe quel état initial, sa distribution converge vers cette distribution stationnaire et ses moyennes temporelles convergent vers les espérances stationnaires.

Scope

Ce sujet couvre les distributions stationnaires et invariantes, leur existence et leur unicité pour les chaînes irréductibles positivement récurrentes, le rôle de l'apériodicité dans la convergence, l'équilibre détaillé et la réversibilité, le théorème ergodique des chaînes de Markov qui assimile les moyennes temporelles à long terme aux espérances stationnaires, le taux de convergence vers l'équilibre et les temps de mélange, ainsi que l'utilisation de ces concepts dans les méthodes de Monte Carlo par chaînes de Markov.

Core questions

• Quand une chaîne de Markov possède-t-elle une distribution stationnaire unique ?
• Sous quelles conditions la distribution de la chaîne converge-t-elle vers cette distribution stationnaire ?
• Qu'est-ce que l'équilibre détaillé, et comment la réversibilité simplifie-t-elle la recherche de la distribution stationnaire ?
• Comment les moyennes temporelles à long terme sont-elles liées aux moyennes sous la distribution stationnaire ?

Key concepts

• distribution stationnaire
• irréductibilité et apériodicité
• équilibre détaillé
• théorème ergodique
• temps de mélange

Key theories

Existence, unicité et convergence vers la stationnarité

Une chaîne de Markov irréductible positivement récurrente possède une distribution stationnaire unique donnée par les inverses des temps de retour moyens, et si elle est également apériodique, la distribution de l'état converge vers celle-ci à partir de n'importe quel point de départ.

Théorème ergodique des chaînes de Markov

Pour une chaîne irréductible positivement récurrente, la moyenne à long terme d'une fonction de l'état converge presque sûrement vers son espérance sous la distribution stationnaire, ce qui est l'analogue de la loi des grands nombres pour des données de Markov dépendantes.

Équilibre détaillé et réversibilité

Si une distribution satisfait l'équilibre détaillé avec les probabilités de transition, ce qui signifie que le flux entre deux états quelconques s'équilibre dans les deux directions, alors elle est stationnaire et la chaîne est réversible, une condition exploitée pour concevoir des échantillonneurs de Monte Carlo par chaînes de Markov.

Clinical relevance

Ces résultats constituent le moteur théorique des méthodes de Monte Carlo par chaînes de Markov, où une chaîne est conçue pour avoir une distribution cible comme loi stationnaire afin que ses échantillons approximent cette distribution ; les bornes des temps de mélange indiquent aux praticiens la durée d'exécution de ces simulations, et la même théorie régit les longueurs de file d'attente à l'équilibre et la fiabilité en régime permanent.

History

La théorie de l'équilibre des chaînes de Markov a émergé des travaux originaux de Markov et a été formalisée dans sa forme moderne par Doob, Feller et d'autres. Son importance appliquée a considérablement augmenté avec l'algorithme de Metropolis en 1953 et la généralisation de Hastings en 1970, qui ont transformé la convergence vers une distribution stationnaire en une méthode de calcul pratique.

Key figures

• Andrey Markov
• Nicholas Metropolis
• Wilfred Keith Hastings
• Sean Meyn

Seminal works

• norris1997

Frequently asked questions

Toute chaîne de Markov converge-t-elle vers une distribution stationnaire ?

Non ; la convergence requiert des conditions telles que l'irréductibilité, la récurrence positive et l'apériodicité. Une chaîne périodique peut cycler sans se stabiliser, et une chaîne transitoire ou récurrente nulle peut n'avoir aucune distribution stationnaire.

Pourquoi la réversibilité est-elle utile en pratique ?

La réversibilité via l'équilibre détaillé fournit une équation simple qu'une distribution stationnaire candidate doit satisfaire, ce qui facilite à la fois la vérification de la distribution stationnaire et constitue le principe de conception derrière les algorithmes de Metropolis-Hastings et de nombreux autres algorithmes de Monte Carlo par chaînes de Markov.