统计学优化

统计学优化研究的是寻找使似然最大化或损失最小化的参数值的数值方法，这是大多数统计模型实际拟合数据的方式。

Definition

统计学优化是开发和分析数值算法，这些算法旨在找到似然函数的最大值或损失函数或惩罚目标函数的最小值，以估计统计模型的参数。

Scope

该领域涵盖了估计中出现的优化问题，特别是最大似然估计和惩罚估计，以及解决这些问题的算法：用于潜在变量和缺失数据模型的期望最大化算法、牛顿-拉弗森法、拟牛顿法和费雪评分法，以及用于大数据和噪声目标函数的随机优化。重点在于塑造算法选择的统计结构。

Sub-topics

• em algorithm
• newton raphson methods
• stochastic optimization statistics

Core questions

• 统计估计如何被视为优化问题？
• 哪些算法利用了似然和潜在变量模型的结构？
• 曲率信息和步长策略如何影响收敛性？
• 优化如何适应海量数据集和噪声目标函数？

Key theories

似然最大化

通过最大化似然来估计参数将推断转化为优化问题，其中得分方程作为平稳性条件，观测或预期信息控制局部曲率和收敛速度。

利用结构的算法

期望最大化、牛顿-拉弗森法和费雪评分法等方法利用了统计目标函数的特殊形式，而拟牛顿法和随机方法则将这些思想扩展到高维和大数据样本。

Clinical relevance

拟合广义线性模型、混合模型、隐马尔可夫模型、神经网络和惩罚回归都归结为优化问题，因此可靠的优化器决定了统计分析是否收敛、运行速度以及是否能获得有意义的估计。

History

数值优化起源于应用数学，但统计学围绕似然发展了自己的工具包：20世纪早期的费雪评分法，1977年统一的期望最大化框架，以及随着数据集和模型规模增大而变得核心的随机梯度方法。

Key figures

• Kenneth Lange
• Arthur Dempster
• Jorge Nocedal
• Stephen Wright

Seminal works

• givens2013
• lange2010

Frequently asked questions

为什么统计学中有如此多的内容实际上是优化？

大多数估计量被定义为使似然最大化或损失最小化的值。因此，计算估计量意味着解决一个优化问题，算法的选择会影响速度以及是否找到正确的最佳值。

为什么存在统计学特有的优化方法？

统计目标函数具有结构，例如由独立观测值构建的似然函数或具有潜在变量的模型，费雪评分法和期望最大化等专门算法可以利用这些结构，以获得超越通用优化器的稳定性和速度。