贝叶斯模型平均

贝叶斯模型平均通过结合所有候选模型的预测，并根据其后验概率进行加权，从而解释了模型正确性方面的不确定性。

Definition

贝叶斯模型平均通过对一组候选模型进行加权平均来形成预测和推断，权重等于每个模型在给定数据下的后验概率，从而将模型不确定性纳入最终结果。

Scope

本主题涵盖了模型空间上的模型平均公式、作为权重的后验模型概率、其在模型不确定性下校准预测的益处、大型模型空间的实际挑战以及堆叠等预测替代方法。

Core questions

• 如何使用后验模型概率对模型进行平均预测？
• 为什么模型平均在模型不确定性下能改善预测校准？
• 在实践中如何处理大型或无限模型空间？
• 堆叠与后验概率加权有何不同？

Key concepts

• 后验模型概率
• 模型空间
• 模型不确定性
• 预测平均
• 堆叠
• 奥卡姆之窗

Key theories

模型空间平均

将模型索引视为具有自身后验的未知量，产生的预测将模型整合起来，这在假设真实模型在集合中的情况下，对预测是最佳的。

预测堆叠

当没有候选模型完全正确时，堆叠选择组合权重以最大化交叉验证的预测性能，在实践中通常优于后验概率加权。

Clinical relevance

模型平均在气候预测、流行病学预报和经济学等领域产生了更真实的预测不确定性，在这些领域，如果只依赖单一模型，则会低估真实的不确定性。

History

贝叶斯模型平均在20世纪90年代发展起来，并在1999年由Hoeting及其同事的教程中进行了综合。后来，人们认识到真实模型很少在候选模型集中，这促使预测堆叠成为一种更稳健的组合方法。

Debates

模型概率加权与堆叠

当所有候选模型都错误时，后验概率权重可能会集中在一个单一的糟糕模型上，因此预测堆叠越来越受到青睐，用于组合模型进行预测。

Key figures

• Adrian Raftery
• David Madigan
• Jennifer Hoeting
• Andrew Gelman

Seminal works

• hoeting1999
• yao2018

Frequently asked questions

为什么不只选择一个最佳模型？

选择一个模型会忽略关于哪个模型是正确的不确定性，并可能产生过于自信的预测；对模型进行平均或堆叠，可以传播这种不确定性，通常会改善预测校准。