共轭先验
共轭先验使后验分布与先验分布保持在同一分布族中，将贝叶斯更新转化为对该分布族参数的简单更新。
用 PaperMind 寻找选题即将推出Find papers & topics
Tools & resources
Learn & explore
视频即将推出
Definition
如果对于任何数据，给定似然函数的先验族所产生的后验分布属于同一族，则该先验族与该似然函数是共轭的；后验分布通过闭合形式更新该族的超参数获得。
Scope
本主题涵盖共轭的定义、标准共轭对（Beta-二项分布、Gamma-泊松分布、正态-正态分布、正态-逆Gamma分布、Dirichlet-多项分布）、与指数族的关系，以及将先验参数解释为伪计数或先验样本量。
Core questions
- 先验与似然函数共轭意味着什么？
- 常见的指数族模型会产生哪些共轭对？
- 共轭超参数如何充当先验伪数据？
- 为什么共轭性源于指数族的结构？
Key concepts
- 共轭先验
- Beta-二项分布
- Gamma-泊松分布
- 正态-正态分布
- Dirichlet-多项分布
- 指数族
- 超参数
- 先验伪计数
Key theories
- 指数族共轭性
- Diaconis和Ylvisaker描述了指数族似然函数的共轭先验，并表明它们意味着后验期望与充分统计量呈线性关系。
- 先验作为伪数据
- 共轭超参数可以被解读为假想先验数据集的计数和总和，因此后验分布以加法方式结合了真实观测和先验伪观测。
Clinical relevance
共轭模型提供快速、透明的更新，广泛用于比例和速率估计、自适应随机化，并作为大型基于采样的分析中的构建模块。
History
Raiffa和Schlaifer于1961年系统化了决策问题的共轭分析；Diaconis和Ylvisaker于1979年给出了指数族的通用特征。共轭性在现代计算方案（如Gibbs采样）中仍然是核心组成部分。
Key figures
- Howard Raiffa
- Robert Schlaifer
- Persi Diaconis
Related topics
Seminal works
- diaconis1979
- gelman2013
Frequently asked questions
- 既然计算机可以处理任何先验，为什么还要使用共轭先验？
- 共轭先验提供精确的闭合形式后验，既快速又可解释，并且即使整体模型不共轭，它们也常作为Gibbs采样器内部的完全条件更新。