EM算法
期望最大化（EM）算法通过交替进行缺失信息插补和最大化由此产生的预期对数似然，在具有缺失数据或潜在变量的模型中找到最大似然估计。
用 PaperMind 寻找选题即将推出Find papers & topics
Tools & resources
Learn & explore
视频即将推出
Definition
期望最大化算法是一种迭代过程，它通过重复地根据当前参数（E步）形成完整数据的预期对数似然，并最大化该似然以更新参数（M步），从而最大化不完整数据的似然。
Scope
本主题涵盖了定义该算法的E步和M步、保证似然永不下降的单调上升特性、其收敛行为和收敛速度、在混合模型和缺失数据方面的典型应用，以及广义和蒙特卡洛EM变体等扩展。同时指出了其与其他上升方法的关系。
Core questions
- E步和M步如何共同增加观测数据的似然？
- 为什么该算法能保证似然的单调增加？
- 该算法如何应用于混合模型和缺失数据问题？
- 什么决定了它的收敛速度，加速变体如何解决收敛缓慢的问题？
Key concepts
- 完整数据似然
- E步
- M步
- 潜在变量
- 单调收敛
- 局部最大值
Key theories
- E步和M步交替
- E步计算当前参数下完整数据对数似然的期望，M步最大化该期望；迭代将参数推向观测数据似然的驻点。
- 单调上升特性
- 每次迭代都可证明不会降低观测数据的似然，这赋予了算法稳定性，尽管它可能收敛缓慢，并且根据初始化情况只能收敛到局部最大值。
Clinical relevance
期望最大化算法是拟合有限混合模型、隐马尔可夫模型、因子模型和潜在类别模型以及处理缺失数据的标准引擎，使其成为统计学、机器学习、遗传学和信号处理领域的基础。
History
Dempster、Laird和Rubin于1977年将许多早期的特殊情况算法统一到广义期望最大化框架中；随后的工作发展了收敛理论、加速方案以及针对难以处理的步骤的蒙特卡洛和广义变体。
Key figures
- Arthur Dempster
- Nan Laird
- Donald Rubin
- Geoffrey McLachlan
Related topics
Seminal works
- dempster1977
- mclachlan2008
Frequently asked questions
- 为什么使用期望最大化算法而不是直接最大化？
- 当数据不完整或模型具有潜在变量时，观测数据似然可能难以直接最大化。该算法使用更简单的完整数据似然，并且在每一步都保证不下降，从而可靠地收敛。
- 该算法总是能找到全局最大值吗？
- 不是。它收敛到一个驻点，该驻点取决于起始值，可能是局部最大值或鞍点。通常的保障措施是从多个初始化运行它。