蒙特卡罗方法

蒙特卡罗方法通过对模拟随机抽样进行平均，来近似积分、期望和概率，用应用于样本流的大数定律取代了难以处理的解析计算。

Definition

蒙特卡罗方法是一种计算技术，它通过对从适当概率分布中抽取的样本进行函数评估的平均值，来估计一个确定性量，通常是积分或期望。

Scope

该领域涵盖了积分和期望的简单蒙特卡罗估计、作为重加权策略的重要性抽样，以及用于从复杂高维分布中抽样的马尔可夫链蒙特卡罗方法，包括吉布斯抽样器。它处理这些估计量的统计理论（一致性、误差率、有效样本量），而非特定于物理学的模拟模型。

Sub-topics

• 吉布斯抽样（统计计算）
• 重要性采样
• 马尔可夫链蒙特卡洛
• 蒙特卡罗积分

Core questions

• 对随机样本进行平均如何估计积分，误差衰减的速度是多少？
• 如何通过从一个分布中抽样来估计另一个分布下的期望？
• 如何构建马尔可夫链，使其平稳分布是感兴趣的目标？
• 当抽样是相关的时候，如何量化蒙特卡罗估计的准确性？

Key theories

蒙特卡罗估计

根据大数定律，对独立抽样评估的函数样本均值收敛于其期望，中心极限定理给出了与维度无关的根号n误差率。

马尔可夫链蒙特卡罗

构建一个不变分布为目标的马尔可夫链，可以从仅已知常数倍的分布中抽样，链的遍历平均值可以估计期望。

通过重要性抽样改变测度

从一个易于处理的提议分布中抽样，并通过目标分布与提议分布密度之比进行重加权，可以得到目标分布下期望的无偏估计，其效率由权重方差决定。

Clinical relevance

蒙特卡罗方法是现代统计学的计算引擎：它们评估贝叶斯后验、积分出潜在变量、通过复杂模型传播不确定性，并在不存在封闭形式答案的情况下估计p值和风险，其应用涵盖物理学、遗传学、金融和流行病学。

History

蒙特卡罗方法起源于20世纪40年代洛斯阿拉莫斯国家实验室的核物理计算，并以赌场命名；Metropolis算法于1953年提出，Hastings于1970年对其进行了推广，统计学家在1990年代重新发现吉布斯抽样后，马尔可夫链蒙特卡罗方法成为计算贝叶斯统计学的主导工具。

Key figures

• Nicholas Metropolis
• Stanislaw Ulam
• Christian P. Robert
• Andrew Gelman

Seminal works

• robert2004
• metropolis1949

Frequently asked questions

为什么蒙特卡罗误差不随维度增加？

简单蒙特卡罗平均值的标准误差会随着抽样次数的平方根的倒数而减小，而与积分的维度无关。这种维度无关性是蒙特卡罗在高维问题中通常优于基于网格的求积法的原因。

简单蒙特卡罗和马尔可夫链蒙特卡罗有什么区别？

简单蒙特卡罗使用来自目标分布的独立抽样。马尔可夫链蒙特卡罗则模拟一个相关的序列，其长期分布是目标分布，这使得它能够对无法直接抽样的分布进行抽样。