Сэмплирование по Гиббсу (статистические вычисления)

Сэмплирование по Гиббсу — это метод Монте-Карло для цепей Маркова, который позволяет сэмплировать многомерное распределение путем циклического перебора его переменных и последовательного извлечения каждой из них из ее полного условного распределения при заданных текущих значениях остальных переменных.

Definition

Сэмплирование по Гиббсу — это алгоритм Монте-Карло для цепей Маркова, который генерирует выборки из совместного распределения путем итеративного сэмплирования каждого компонента или блока компонентов из его условного распределения при условии всех остальных.

Scope

В данной теме сэмплирование по Гиббсу рассматривается как вычислительный алгоритм: построение сэмплера на основе полных условных распределений, его интерпретация как шага Метрополиса-Гастингса с вероятностью принятия, равной единице, стратегии блокировки и коллапсирования, улучшающие перемешивание, аугментация данных, а также сходимость алгоритма и его автокорреляционное поведение. Прикладной аспект байесовского вывода рассматривается отдельно в разделе «Байесовские вычисления».

Core questions

• Как повторные выборки из полных условных распределений сходятся к целевому совместному распределению?
• Почему сэмплер Гиббса является алгоритмом Метрополиса-Гастингса с вероятностью принятия, равной единице?
• Как блокировка и коллапсирование улучшают перемешивание сэмплера?
• Как аугментация данных вводит скрытые переменные для упрощения условных распределений?

Key concepts

• Полное условное распределение
• Аугментация данных
• Блокировка и коллапсирование
• Совместимость условных распределений
• Перемешивание

Key theories

Сэмплирование из полных условных распределений

Последовательное сэмплирование каждой переменной из ее условного распределения при условии остальных определяет цепь Маркова, стационарным распределением которой является целевое совместное распределение, при условии, что условные распределения совместимы и цепь неприводима.

Аугментация данных и блокировка

Введение вспомогательных скрытых переменных может сделать полные условные распределения стандартными и легко сэмплируемыми, в то время как обновление коррелированных переменных блоками уменьшает автокорреляцию, которую в противном случае вызвали бы покомпонентные обновления.

Clinical relevance

Сэмплирование по Гиббсу является основным алгоритмом статистических вычислений, поскольку многие модели имеют простые, стандартные полные условные распределения; оно лежит в основе универсальных сэмплеров и применяется к смешанным моделям, моделям со скрытыми переменными, восстановлению изображений и анализу генетического сцепления.

History

Геман и Геман представили сэмплер Гиббса в 1984 году для восстановления изображений, назвав его в честь распределений Гиббса из статистической физики; статья Гельфанда и Смита 1990 года показала его широкую применимость, что привело к повсеместному внедрению в вычислительной статистике.

Key figures

• Stuart Geman
• Donald Geman
• Alan Gelfand
• Adrian Smith

Seminal works

• geman1984
• gelfand1990

Frequently asked questions

Когда сэмплирование по Гиббсу особенно удобно?

Когда полные условные распределения являются стандартными распределениями, из которых можно сэмплировать напрямую. В этом случае не требуется настройка предложений или шагов принятия, поскольку каждое предложение принимается.

Почему сэмплер Гиббса может медленно перемешиваться?

Когда переменные сильно коррелированы, их пошаговое обновление перемещает цепь малыми шагами вдоль узких гребней, что приводит к высокой автокорреляции. Блокировка коррелированных переменных или репараметризация модели могут улучшить перемешивание.