概率推断
概率推断是在概率模型中，根据观测到的证据计算查询变量的概率，这是贝叶斯网络和马尔可夫网络的核心推理任务。
用 PaperMind 寻找选题即将推出Find papers & topics
Tools & resources
Learn & explore
视频即将推出
Definition
概率推断通过精确或近似的方法，从指定的概率模型中计算后验分布，例如在观测证据条件下，一个或多个查询变量的概率。
Scope
本主题涵盖了在图模型中回答概率查询的算法：精确方法，如变量消除、树状结构中的信念传播以及连接树（团树）算法；以及近似方法，如循环信念传播和蒙特卡洛采样（拒绝采样、似然加权和马尔可夫链蒙特卡洛）。它讨论了推断的计算难度以及精确性与可扩展性之间的权衡。模型本身的结构在贝叶斯网络中有所涵盖。
Core questions
- 如何在不枚举完整分布的情况下，从联合模型中计算条件概率或边际概率？
- 变量消除如何利用因子分解来有效地计算精确答案？
- 精确推断何时变得难以处理，以及此时会使用哪些近似方法？
- 基于采样的方法如何估计后验概率？
Key concepts
- 边际查询和条件查询
- 变量消除
- 信念传播（消息传递）
- 连接树和树宽
- 循环信念传播
- 拒绝采样和似然加权
- 马尔可夫链蒙特卡洛
- 精确推断与近似推断
Key theories
- 信念传播
- 在树状结构网络中，可以通过在相邻节点之间传递局部消息来计算精确的后验概率；Pearl的信念传播执行这种分布式计算，并应用于循环图时，提供了一种广泛使用的近似推断方法。
- 连接树（团树）推断
- 一般网络中的精确推断可以通过将变量聚类成团树并在其上传播消息来组织，从而在仅与最大团（树宽）呈指数关系的时间内给出正确答案。
- 通过采样进行近似推断
- 当精确推断不可行时，蒙特卡洛方法（如似然加权和马尔可夫链蒙特卡洛）通过抽取与证据一致的样本来估计后验概率，以可扩展性换取了精确性保证。
Clinical relevance
推断算法使概率模型变得可用：它们通过计算给定观测数据的隐藏变量的概率，为诊断和决策支持系统、纠错码（通过信念传播）、计算机视觉、语音识别和生物信息学提供支持。
History
Pearl的信念传播（1980年代）为树状网络提供了精确推断，而Lauritzen和Spiegelhalter在1988年提出的连接树方法通过对团的局部计算，将精确推断扩展到了一般网络。认识到精确推断在一般情况下是NP-hard的，这促使了对采样和变分近似的广泛研究。
Key figures
- Judea Pearl
- Steffen L. Lauritzen
- David J. Spiegelhalter
- Daphne Koller
Related topics
Seminal works
- pearl1986
- lauritzen1988
Frequently asked questions
- 概率推断总是易于处理的吗？
- 不是。一般贝叶斯网络中的精确推断是NP-hard的，其成本随网络树宽的增加而增加。对于树状或树宽较低的网络，精确推断是高效的；否则，会使用采样或循环信念传播等近似方法。
- 精确推断和近似推断有什么区别？
- 精确推断，如变量消除或连接树算法，计算真实的后验概率。近似推断，如蒙特卡洛采样或循环信念传播，则对其进行估计，这在对于大型或密集连接的模型而言，精确计算成本过高时是必要的。