Distributions stationnaires et convergence

Une distribution stationnaire est une loi de probabilité qu'une chaîne de Markov préserve sous sa dynamique ; dans des conditions générales, la chaîne oublie son point de départ et converge vers cet équilibre.

Definition

Une distribution stationnaire est un vecteur de probabilité laissé invariant par la matrice de transition, de sorte qu'une chaîne qui en est issue reste distribuée selon celle-ci à tout moment ultérieur ; la théorie de la convergence étudie quand et à quelle vitesse une distribution initiale arbitraire approche cet équilibre.

Scope

Ce sujet aborde les distributions invariantes et stationnaires et leur caractérisation comme vecteurs propres gauches de la matrice de transition, les critères d'existence et d'unicité, l'équilibre détaillé et la réversibilité, le théorème de convergence pour les chaînes irréductibles apériodiques, la distance en variation totale et les temps de mélange, ainsi que les méthodes de couplage et spectrales pour borner le taux de convergence.

Core questions

• Qu'est-ce qu'une distribution stationnaire et comment est-elle calculée à partir de la matrice de transition ?
• Dans quelles conditions la distribution stationnaire est-elle unique et la limite de la chaîne ?
• Qu'apporte la réversibilité, et comment est-elle liée à l'équilibre détaillé ?
• Comment la vitesse de convergence vers l'équilibre est-elle quantifiée et bornée ?

Key theories

Théorème de convergence vers l'équilibre

Pour une chaîne irréductible, apériodique et positivement récurrente, la distribution après n étapes converge vers l'unique distribution stationnaire à partir de n'importe quel point de départ, de sorte que la chaîne perd asymptotiquement la mémoire de son origine.

Réversibilité et équilibre détaillé

Une chaîne satisfaisant les équations d'équilibre détaillé par rapport à une distribution est réversible et possède cette distribution comme stationnaire ; la réversibilité produit des opérateurs de transition auto-adjoints et sous-tend les bornes spectrales sur le mélange.

Clinical relevance

Les distributions stationnaires décrivent la fraction de temps à long terme qu'un système passe dans chaque état, fournissant les longueurs de file d'attente en régime permanent, les fréquences d'équilibre en génétique, et les lois cibles échantillonnées par les méthodes de Monte Carlo par chaînes de Markov ; les bornes des temps de mélange déterminent la durée pendant laquelle de telles simulations doivent être exécutées pour produire des échantillons fiables.

History

Doeblin et Kolmogorov ont établi la théorie de la convergence dans les années 1930 en utilisant des arguments de couplage et d'analyse. L'étude quantitative des temps de mélange, affinée par Diaconis et ses collaborateurs à partir des années 1980, a relié les taux de convergence à l'écart spectral et à des phénomènes tels que le seuil (cutoff) dans la distance en variation totale.

Key figures

• Wolfgang Doeblin
• Andrey Kolmogorov
• Persi Diaconis

Seminal works

• levinPeres2017

Frequently asked questions

Comment trouve-t-on la distribution stationnaire d'une chaîne ?

On résout pour le vecteur de probabilité qui reste inchangé lorsqu'il est multiplié par la matrice de transition ; pour les chaînes réversibles, les équations d'équilibre détaillé le donnent souvent plus directement.

Qu'est-ce qu'un temps de mélange ?

C'est le nombre d'étapes après lequel la distribution de la chaîne se trouve à une faible distance en variation totale de sa distribution stationnaire, mesurant la rapidité avec laquelle la chaîne atteint l'équilibre.