贝叶斯推断基础

贝叶斯推断将未知量视为随机变量，并使用概率作为在数据面前表示和更新不确定性的单一演算方法。

Definition

贝叶斯推断是利用贝叶斯定理，将关于未知参数的先验概率分布与观测数据的似然函数相结合，转换为后验分布，从而量化关于这些未知量的所有剩余不确定性。

Scope

该领域涵盖了贝叶斯方法的概念和数学核心：作为更新规则的贝叶斯定理、似然函数的作用、将概率解释为信念程度、可交换性作为统计建模的依据，以及主观与客观立场之间的对比。它构成了贝叶斯统计学其余部分的基础，贝叶斯统计学在此基础上构建先验、计算和模型。

Sub-topics

• bayes theorem and the posterior
• exchangeability and de finetti
• likelihood and bayesian updating
• subjective and objective probability

Core questions

• 贝叶斯定理如何将先验信念与观测数据结合起来，从而得出后验分布？
• 似然函数扮演什么角色？为什么贝叶斯推断遵循似然原则？
• 可交换性如何证明在给定参数的情况下将观测值表示为条件独立是合理的？
• 贝叶斯概率的主观和客观解释之间有什么区别？

Key concepts

• 先验分布
• 似然函数
• 后验分布
• 边际似然（证据）
• 可交换性
• 连贯性
• 似然原则

Key theories

作为推断的贝叶斯定理

后验分布与似然函数乘以先验分布成正比；这一个恒等式决定了贝叶斯主义者在观察数据后如何理性地更新不确定性。

德·菲内蒂表示定理

一个无限可交换序列可以表示为在给定具有混合分布的未知参数下的条件独立同分布，这为参数模型和先验提供了主观概率基础。

连贯性和荷兰赌论证

遵循概率公理的信念程度是“连贯的”，避免了必然亏损的赌博配置；这一决策理论论证支撑了贝叶斯主义者使用概率来表达信念。

Clinical relevance

贝叶斯基础支撑着科学领域中的各种应用，只要不确定性需要量化并随着证据的积累而更新，从临床试验监测和遗传学到物理学、机器学习和决策分析，无不如此。

History

贝叶斯的论文（1763年死后发表）和拉普拉斯的独立发展开启了逆概率方法。在20世纪早期被频率学派方法所掩盖，该方法通过杰弗里斯的客观先验、德·菲内蒂和萨维奇的主观概率基础，以及从1990年代开始的计算进步而得以复兴，使其变得广泛实用。

Debates

主观先验与客观先验

先验应该编码真实的个人信念，还是应该通过形式规则选择以最小化其影响，这仍然是贝叶斯统计学中的一个基本争议。

Key figures

• Thomas Bayes
• Pierre-Simon Laplace
• Bruno de Finetti
• Harold Jeffreys
• Leonard J. Savage

Seminal works

• gelman2013
• robert2007
• definetti1937

Frequently asked questions

贝叶斯推断与频率学派推断有何不同？

贝叶斯推断将概率分布分配给未知参数并报告后验分布，而频率学派推断将参数视为固定不变，并推断估计量和程序在假设的重复样本上的长期行为。

贝叶斯推断是否需要主观先验？

它需要一个先验，但该先验可以是主观的（编码真实信念），也可以通过客观规则选择为弱信息性；随着数据量的增加，似然函数通常会占据主导地位，先验选择的重要性会降低。