Méthodes de Newton-Raphson et de score

Les méthodes de Newton-Raphson et les méthodes de score associées maximisent une vraisemblance en effectuant des pas successifs basés sur le gradient et la courbure de la log-vraisemblance, ce qui permet d'obtenir une convergence locale rapide près de l'optimum.

Definition

Les méthodes de Newton-Raphson et de score sont des algorithmes d'optimisation itératifs qui mettent à jour une estimation de paramètre en résolvant un modèle quadratique local de la log-vraisemblance, en utilisant le gradient (score) et une matrice hessienne ou d'information pour déterminer le pas.

Scope

Ce sujet couvre l'itération de Newton-Raphson appliquée aux équations de score, le score de Fisher qui remplace l'information observée par son espérance, les méthodes quasi-Newton qui approximent la courbure à partir des gradients, le rôle de la taille du pas et des sauvegardes par recherche linéaire, et le lien entre la courbure à l'optimum et la variance asymptotique de l'estimateur.

Core questions

• Comment une approximation quadratique locale produit-elle le pas de Newton pour les équations de score ?
• En quoi le score de Fisher diffère-t-il de Newton-Raphson, et pourquoi est-il souvent préféré ?
• Comment les méthodes quasi-Newton approximent-elles la courbure sans calculer la Hessienne ?
• Comment les recherches linéaires et les modifications maintiennent-elles la stabilité de l'itération loin de l'optimum ?

Key concepts

• Fonction de score
• Matrice hessienne et matrice d'information
• Convergence quadratique
• Score de Fisher
• Mise à jour quasi-Newton
• Recherche linéaire

Key theories

Itération de Newton sur le score

En traitant l'estimation par maximum de vraisemblance comme la résolution des équations de score, le pas de Newton utilise l'inverse de la Hessienne multiplié par le gradient et converge quadratiquement une fois proche du maximum.

Score de Fisher et quasi-Newton

Le remplacement de l'information observée par l'information attendue donne le score de Fisher, qui est souvent plus stable, tandis que les mises à jour quasi-Newton construisent une approximation de la courbure à partir de gradients successifs pour éviter de former directement la Hessienne.

Clinical relevance

Le score de Fisher est l'algorithme d'ajustement par défaut pour les modèles linéaires généralisés via les moindres carrés repondérés itérativement, et les méthodes de Newton et quasi-Newton ajustent d'innombrables modèles statistiques non linéaires ; la courbure calculée par ces méthodes fournit également les erreurs standard pour les estimations.

History

La méthode de recherche de racines de Newton-Raphson est antérieure aux statistiques, mais l'introduction du score par Fisher l'a liée à l'estimation par maximum de vraisemblance ; l'analyse numérique du milieu du XXe siècle a ajouté les méthodes quasi-Newton, qui sont devenues ensemble l'épine dorsale de l'ajustement de modèles statistiques.

Key figures

• Isaac Newton
• Joseph Raphson
• Ronald A. Fisher
• Jorge Nocedal

Seminal works

• givens2013
• nocedal2006

Frequently asked questions

Pourquoi la méthode de Newton-Raphson converge-t-elle si rapidement près de l'optimum ?

Elle ajuste un modèle quadratique local en utilisant à la fois la pente et la courbure de la fonction objectif, de sorte que chaque pas atterrit très près de l'optimum réel, ce qui confère une convergence quadratique. L'inconvénient est qu'elle nécessite la Hessienne et peut être instable loin de la solution.

Quand le score de Fisher est-il préféré à la méthode de Newton-Raphson simple ?

Le score de Fisher utilise l'information attendue, qui est souvent définie positive et plus simple à calculer que la Hessienne observée, ce qui rend l'itération plus stable. C'est la méthode standard pour l'ajustement des modèles linéaires généralisés.