Стационарные распределения и сходимость

Стационарное распределение — это вероятностный закон, который сохраняется цепью Маркова в процессе её динамики; при широких условиях цепь «забывает» свою начальную точку и сходится к этому равновесию.

Definition

Стационарное распределение — это вероятностный вектор, инвариантный относительно матрицы перехода, так что цепь, начавшаяся в нём, остаётся распределённой в соответствии с ним в любой последующий момент времени; теория сходимости изучает, когда и как быстро произвольное начальное распределение приближается к этому равновесию.

Scope

Эта тема охватывает инвариантные и стационарные распределения и их характеристику как левых собственных векторов матрицы перехода, критерии существования и единственности, детальный баланс и обратимость, теорему сходимости для неразложимых апериодических цепей, расстояние по полной вариации и времена перемешивания, а также методы сопряжения и спектральные методы для оценки скорости сходимости.

Core questions

• Что такое стационарное распределение и как оно вычисляется из матрицы перехода?
• При каких условиях стационарное распределение является единственным и предельным для цепи?
• Что добавляет обратимость и как она связана с детальным балансом?
• Как количественно оценивается и ограничивается скорость сходимости к равновесию?

Key theories

Теорема о сходимости к равновесию

Для неразложимой, апериодической, положительно-возвратной цепи распределение после n шагов сходится к единственному стационарному распределению из любой начальной точки, так что цепь асимптотически теряет память о своём происхождении.

Обратимость и детальный баланс

Цепь, удовлетворяющая уравнениям детального баланса относительно некоторого распределения, является обратимой и имеет это распределение в качестве стационарного; обратимость приводит к самосопряжённым операторам перехода и лежит в основе спектральных оценок перемешивания.

Clinical relevance

Стационарные распределения описывают долгосрочную долю времени, которую система проводит в каждом состоянии, давая стационарные длины очередей, равновесные частоты в генетике и целевые законы, сэмплируемые методом Монте-Карло на основе цепей Маркова; оценки времени перемешивания определяют, как долго должны выполняться такие симуляции для получения надёжных выборок.

History

Доблин и Колмогоров разработали теорию сходимости в 1930-х годах, используя методы сопряжения и аналитические аргументы. Количественное исследование времён перемешивания, уточнённое Диаконисом и его сотрудниками с 1980-х годов, связало скорости сходимости со спектральным зазором и с такими явлениями, как отсечка в расстоянии по полной вариации.

Key figures

• Wolfgang Doeblin
• Andrey Kolmogorov
• Persi Diaconis

Seminal works

• levinPeres2017

Frequently asked questions

Как найти стационарное распределение цепи?

Найдите вероятностный вектор, который остаётся неизменным при умножении на матрицу перехода; для обратимых цепей уравнения детального баланса часто дают его более прямо.

Что такое время перемешивания?

Это количество шагов, после которых распределение цепи находится в пределах малого расстояния по полной вариации от своего стационарного распределения, измеряя, как быстро цепь достигает равновесия.