似然与贝叶斯更新

似然承载了数据中关于参数的所有信息，而贝叶斯更新则将昨日的后验转化为今日的先验，随着证据的积累而不断演进。

Definition

似然是观测数据的抽样密度，被视为参数的函数；贝叶斯更新是贝叶斯定理的重复应用，以便将来自连续观测的信息组合成一个单一的后验。

Scope

本主题涵盖似然函数和似然原则，贝叶斯更新的序贯性质（其中一批数据的后验成为下一批数据的先验），以及在可交换观测下更新的一致性。

Core questions

• 什么是似然函数，它为何在推断中至关重要？
• 似然原则主张什么，贝叶斯推断如何满足它？
• 一个数据集的后验如何作为下一个数据集的先验？
• 为什么对于可交换数据，序贯贝叶斯更新与顺序无关？

Key concepts

• 似然函数
• 似然原则
• 充分性
• 序贯更新
• 先验到后验的递归
• 证据积累

Key theories

似然原则

对于相同参数，产生比例似然函数的两个实验携带相同的证据信息；贝叶斯推断自动遵循此原则。

序贯更新

重复应用贝叶斯定理等同于一次性应用于汇集数据，因此可以在线修正信念而无需存储完整数据集。

Clinical relevance

序贯更新支持临床试验中的自适应和中期分析、在线学习系统以及任何数据以流形式到达且必须持续修正信念的场景。

History

费希尔在20世纪20年代将似然作为一个独特的概念引入；伯恩鲍姆1962年的分析从充分性和条件性方面形式化了似然原则。贝叶斯理论吸收了这些思想，将更新框定为迭代条件化。

Debates

似然原则的地位

似然原则是否应约束所有推断存在争议，因为许多频率学派程序（例如使用停止规则的程序）违反了它，而贝叶斯方法则没有。

Key figures

• Ronald A. Fisher
• Allan Birnbaum
• George Barnard

Seminal works

• birnbaum1962
• robert2007

Frequently asked questions

我以何种顺序更新不同的数据点是否重要？

对于可交换观测，最终的后验结果与数据处理顺序无关，因为贝叶斯更新是结合性的，并且等同于一次性对所有数据进行条件化。