牛顿-拉夫逊法和评分法

牛顿-拉夫逊法和相关的评分法通过基于对数似然函数的梯度和曲率重复进行迭代，从而最大化似然函数，在最优值附近实现快速局部收敛。

Definition

牛顿-拉夫逊法和评分法是迭代优化算法，通过求解对数似然函数的局部二次模型，利用梯度（评分）和Hessian矩阵或信息矩阵来确定步长，从而更新参数估计值。

Scope

本主题涵盖应用于评分方程的牛顿-拉夫逊迭代法、用观测信息的期望代替观测信息的费雪评分法、通过梯度近似曲率的拟牛顿法、步长和线搜索安全措施的作用，以及最优值处的曲率与估计量渐近方差之间的联系。

Core questions

• 局部二次近似如何为评分方程生成牛顿步长？
• 费雪评分法与牛顿-拉夫逊法有何不同，为何常被优先选用？
• 拟牛顿法如何在不计算Hessian矩阵的情况下近似曲率？
• 线搜索和修正如何使迭代在远离最优值时保持稳定？

Key concepts

• 评分函数
• Hessian矩阵和信息矩阵
• 二次收敛
• 费雪评分法
• 拟牛顿更新
• 线搜索

Key theories

评分上的牛顿迭代

将最大似然估计视为求解评分方程，牛顿步长使用Hessian矩阵的逆乘以梯度，一旦接近最大值，就会二次收敛。

费雪评分法和拟牛顿法

用期望信息代替观测信息得到费雪评分法，它通常更稳定，而拟牛顿更新则通过连续梯度构建曲率近似，以避免直接形成Hessian矩阵。

Clinical relevance

费雪评分法是广义线性模型通过迭代重加权最小二乘法的默认拟合算法，牛顿法和拟牛顿法拟合了无数非线性统计模型；这些方法计算的曲率也为估计值提供了标准误差。

History

牛顿-拉夫逊求根法早于统计学，但费雪引入的评分法将其与似然估计联系起来；二十世纪中叶的数值分析增加了拟牛顿法，它们共同成为统计模型拟合的支柱。

Key figures

• Isaac Newton
• Joseph Raphson
• Ronald A. Fisher
• Jorge Nocedal

Seminal works

• givens2013
• nocedal2006

Frequently asked questions

为什么牛顿-拉夫逊法在最优值附近收敛如此之快？

它利用目标函数的斜率和曲率拟合局部二次模型，因此每一步都非常接近真实最优值，从而实现二次收敛。缺点是它需要Hessian矩阵，并且在远离解时可能不稳定。

何时优先选择费雪评分法而非普通的牛顿-拉夫逊法？

费雪评分法使用期望信息，这通常是正定的且比观测Hessian矩阵更容易计算，从而使迭代更稳定。它是广义线性模型拟合背后的标准方法。