马尔可夫链蒙特卡洛

马尔可夫链蒙特卡洛通过模拟一个经过设计的马尔可夫链，使其具有独特的平稳分布，从而从复杂的MCMC目标分布中进行采样。

Definition

马尔可夫链蒙特卡洛是一系列算法，通过运行一个遍历马尔可夫链来估计目标概率分布下的期望，该马尔可夫链的平稳分布是目标分布，并通过对链路径上的函数进行平均来估计。

Scope

本主题涵盖了具有预定平稳分布的转移核设计、Metropolis-Hastings算法及其接受准则、用于条件更新的Gibbs采样器、收敛诊断和预烧期、自相关对估计器方差的影响以及混合时间与采样计算成本之间的联系。

Core questions

• 如何构建马尔可夫链以使其具有所需的平稳分布？
• 为什么Metropolis-Hastings接受准则会产生正确的平稳律？
• Gibbs采样器如何利用条件分布？
• 链需要运行多久才能使其样本可用，以及如何评估？

Key theories

Metropolis-Hastings构造

从任意核提出移动，并以基于目标密度比的概率接受它们，会产生一个可逆链，其平稳分布正是目标分布，仅需要目标分布（精确到归一化常数）。

遍历平均和蒙特卡洛估计

由于该链是遍历的，以目标分布作为其平稳律，因此沿链的函数的时间平均几乎必然收敛到目标期望，这证明了使用模拟路径作为样本的合理性。

Clinical relevance

马尔可夫链蒙特卡洛是现代贝叶斯统计、统计物理和机器学习的主力，它能够对高维后验分布、配分函数和能量景观进行推断，而这些是无法进行解析积分的；其可靠性取决于底层链的混合速度是否足够快。

History

接受-拒绝链起源于1953年用于统计物理的Metropolis算法，于1970年由Hastings推广，并通过Geman和Geman在1984年的Gibbs采样器以及Gelfand和Smith在1990年左右有影响力的贝叶斯应用重新应用于统计学，从而开启了计算贝叶斯革命。

Key figures

• Nicholas Metropolis
• W. Keith Hastings
• Stuart Geman
• Donald Geman

Seminal works

• robertCasella2004
• hastings1970

Frequently asked questions

为什么要使用马尔可夫链来抽取样本？

对于高维或未归一化的目标分布，直接采样是不可行的；收敛到目标分布的马尔可夫链允许您在达到平衡后生成相关但分布正确的样本。

什么是预烧期？

它是链的初始部分，被丢弃是因为链尚未收敛到其平稳分布，因此那些早期状态会使估计产生偏差。