贝叶斯网络

贝叶斯网络是一种有向无环图，其节点代表随机变量，边编码条件依赖关系，从而紧凑地表示联合概率分布。

Definition

贝叶斯网络是一种概率图模型，由随机变量上的有向无环图以及每个变量给定其父节点的条件概率分布组成，这些共同定义了所有变量的完整分布。

Scope

本主题涵盖贝叶斯（信念）网络的结构和语义：有向无环图、局部条件概率分布、联合分布的链式法则分解，以及它们编码的独立关系（马尔可夫条件和d-分离）。它阐述了如何将网络解读为条件独立模型，以及如何紧凑地存储指数级大的分布。这些网络上的推理算法在相关的概率推理主题中讨论，而从数据中学习其结构或参数则属于机器学习子领域。

Core questions

• 有向无环图加上局部条件分布如何指定完整的联合分布？
• 网络的结构编码了哪些条件独立关系？
• d-分离如何确定在给定观测证据的情况下两个变量是否独立？
• 为什么分解表示所需的数字远少于完整的联合分布？

Key concepts

• 有向无环图
• 条件概率表
• 链式法则分解
• 马尔可夫条件
• d-分离
• 父节点和后代节点
• 紧凑联合分布
• 图模型

Key theories

通过马尔可夫条件进行因子分解

贝叶斯网络断言，在给定其父节点的情况下，每个变量与其非后代节点条件独立，因此联合分布分解为每个变量给定其父节点的条件分布的乘积，从而大大节省了参数。

d-分离与独立性

d-分离的图形判据直接从网络结构中读取条件独立性，精确地表征了无论数值参数如何，图所隐含的独立性陈述。

作为似然推理的信念网络

Pearl 的信念网络框架展示了局部条件概率和消息传递如何捕捉连贯的似然推理，将有向图模型确立为表示不确定知识的可靠且实用的工具。

Clinical relevance

贝叶斯网络用于医学诊断、故障和风险分析、传感器融合、基因调控及其他生物网络建模以及决策支持，因为它们使复杂的概率依赖关系明确化，并允许传播证据以更新对未观测变量的信念。

History

贝叶斯网络由 Judea Pearl 在20世纪80年代开发，作为一种似然推理的图形形式化方法，并在他1988年的著作中得到了全面阐述。它们统一了早期的概率和图形思想，成为规范的有向图模型，后来在概率图模型文献中得到了扩展和系统化。

Key figures

• Judea Pearl
• Daphne Koller
• Nir Friedman
• David Heckerman

Seminal works

• pearl1986
• pearl1988

Frequently asked questions

为什么贝叶斯网络比完整的联合分布更紧凑？

一个包含 n 个二元变量的完整联合分布需要大约 2^n 个数字。贝叶斯网络只存储每个变量给定其父节点的概率，因此当每个变量的父节点数量较少时，参数总数大致随变量数量线性增长，而不是指数增长。

d-分离能告诉你什么？

d-分离是一种图形测试，仅根据网络结构确定两组变量在给定第三组观测变量的情况下是否条件独立。它允许您在不检查实际概率数字的情况下，从图中读取独立关系。