吉布斯抽样（统计计算）

吉布斯抽样是一种马尔可夫链蒙特卡洛方法，通过循环遍历其变量并根据其他变量的当前值依次从其完全条件分布中抽取每个变量来对多元分布进行抽样。

Definition

吉布斯抽样是一种马尔可夫链蒙特卡洛算法，通过迭代地从给定所有其他分量的条件分布中抽取每个分量或分量块来生成联合分布的样本。

Scope

本主题将吉布斯抽样视为一种计算算法：从完全条件分布构建抽样器，将其解释为接受概率为一的Metropolis-Hastings步骤，提高混合效率的阻塞和折叠策略，数据增强，以及算法的收敛性和自相关行为。应用贝叶斯推断的视角在贝叶斯计算中单独介绍。

Core questions

• 重复从完全条件分布中抽样如何收敛到联合目标分布？
• 为什么吉布斯抽样器是接受概率为一的Metropolis-Hastings算法？
• 阻塞和折叠如何改善抽样器的混合？
• 数据增强如何引入潜在变量以使条件分布易于处理？

Key concepts

• 完全条件分布
• 数据增强
• 阻塞和折叠
• 条件分布的兼容性
• 混合

Key theories

完全条件抽样

依次从给定其他变量的条件分布中抽取每个变量定义了一个马尔可夫链，只要条件分布兼容且链是不可约的，其平稳分布就是联合目标分布。

数据增强和阻塞

引入辅助潜在变量可以使完全条件分布标准化且易于抽样，而以块的形式更新相关变量可以减少由逐分量更新可能产生的自相关性，从而提高效率。

Clinical relevance

吉布斯抽样是统计计算中一种重要的算法，因为许多模型具有简单、标准的完全条件分布；它是通用抽样器的基础，并应用于混合模型、潜在变量模型、图像恢复和遗传连锁分析。

History

Geman和Geman于1984年首次提出吉布斯抽样器用于图像恢复，并以统计物理学中的吉布斯分布命名；Gelfand和Smith在1990年的论文展示了其广泛适用性，从而在计算统计学中得到了广泛应用。

Key figures

• Stuart Geman
• Donald Geman
• Alan Gelfand
• Adrian Smith

Seminal works

• geman1984
• gelfand1990

Frequently asked questions

吉布斯抽样何时特别方便？

当完全条件分布是标准分布且可以直接抽样时。此时不需要调整提议或接受步骤，因为每个提议都被接受。

为什么吉布斯抽样器可能混合缓慢？

当变量高度相关时，一次更新一个变量会使链沿着狭窄的山脊小步移动，从而产生高自相关。阻塞相关变量或重新参数化模型可以改善混合。