潜在变量与混合模型

潜在变量和混合模型通过隐藏变量解释观测数据，通过交替推断隐藏结构和更新参数来拟合模型。

Definition

潜在变量模型将每个观测值表示为在未观测变量（例如哪个混合成分生成了一个点）的帮助下生成；期望最大化算法通过在计算潜在变量的期望值和最大化由此产生的期望似然之间迭代来估计参数。

Scope

本主题涵盖了包含未观测变量的概率模型：如高斯混合模型等有限混合模型、用于序列的隐马尔可夫模型，以及用于通过最大化似然来拟合这些模型的期望最大化算法。它还涵盖了与软聚类、密度估计以及EM算法作为数据似然边界的变分视角的联系。

Core questions

• 隐藏变量如何解释观测数据？
• 期望最大化算法如何在每一步增加似然？
• 高斯混合模型如何执行软聚类和密度估计？
• 为什么EM可能只收敛到局部最优？

Key theories

期望最大化算法

EM算法交替进行期望步（推断潜在变量的分布）和最大化步（更新参数），可证明数据似然永不减少并收敛到驻点。

高斯混合模型

将数据建模为高斯分量的加权和，可以得到灵活的密度估计和软聚类分配，每个点都被赋予属于每个分量的概率。

EM作为下界最大化

EM可以被视为最大化对数似然的变分下界，这种观点可以推广到更复杂的潜在变量模型中的近似推断。

Clinical relevance

潜在变量模型是软聚类、密度估计、缺失数据插补以及语音和生物信息学中隐马尔可夫模型序列建模的基础；它们所依赖的期望最大化算法是统计学和机器学习中最广泛使用的优化过程之一。

History

期望最大化思想的特殊情况在Dempster、Laird和Rubin于1977年给出通用公式之前就已出现在遗传学和不完全数据问题中。高斯混合模型和隐马尔可夫模型成为标准的潜在变量工具，而EM的变分重新解释后来将其与现代近似推断方法联系起来。

Key figures

• Arthur Dempster
• Nan Laird
• Donald Rubin

Seminal works

• dempster1977
• bishop2006
• murphy2012

Frequently asked questions

什么是潜在变量？

潜在变量是模型中包含的未观测量，用于解释观测数据，例如哪个隐藏簇生成了一个数据点。模型推断这些隐藏变量的分布，而不是直接测量它们。

为什么EM算法会陷入困境？

EM算法在每一步都会增加似然，但只保证收敛到局部最大值或驻点。不同的初始化可能导致不同的解决方案，因此实践中通常会从不同的起始值运行多次。