Métodos de Newton-Raphson y de Puntuación

Los métodos de Newton-Raphson y los métodos de puntuación relacionados maximizan una verosimilitud tomando repetidamente pasos basados en el gradiente y la curvatura de la log-verosimilitud, logrando una rápida convergencia local cerca del óptimo.

Definition

Los métodos de Newton-Raphson y de puntuación son algoritmos de optimización iterativos que actualizan una estimación de parámetros resolviendo un modelo cuadrático local de la log-verosimilitud, utilizando el gradiente (puntuación) y una matriz Hessiana o de información para determinar el paso.

Scope

Este tema cubre la iteración de Newton-Raphson aplicada a las ecuaciones de puntuación, la puntuación de Fisher que reemplaza la información observada por su expectativa, los métodos cuasi-Newton que aproximan la curvatura a partir de gradientes, el papel de los salvaguardas de tamaño de paso y búsqueda de línea, y el vínculo entre la curvatura en el óptimo y la varianza asintótica del estimador.

Core questions

• ¿Cómo produce una aproximación cuadrática local el paso de Newton para las ecuaciones de puntuación?
• ¿En qué se diferencia la puntuación de Fisher del método de Newton-Raphson y por qué se prefiere a menudo?
• ¿Cómo aproximan los métodos cuasi-Newton la curvatura sin calcular la Hessiana?
• ¿Cómo mantienen la estabilidad de la iteración las búsquedas de línea y las modificaciones lejos del óptimo?

Key concepts

• Función de puntuación
• Matriz Hessiana y de información
• Convergencia cuadrática
• Puntuación de Fisher
• Actualización cuasi-Newton
• Búsqueda de línea

Key theories

Iteración de Newton sobre la puntuación

Al tratar la estimación de máxima verosimilitud como la resolución de las ecuaciones de puntuación, el paso de Newton utiliza la Hessiana inversa multiplicada por el gradiente y converge cuadráticamente una vez cerca del máximo.

Puntuación de Fisher y cuasi-Newton

Reemplazar la información observada por la información esperada da lugar a la puntuación de Fisher, que a menudo es más estable, mientras que las actualizaciones cuasi-Newton construyen una aproximación de la curvatura a partir de gradientes sucesivos para evitar formar la Hessiana directamente.

Clinical relevance

La puntuación de Fisher es el algoritmo de ajuste predeterminado para modelos lineales generalizados a través de mínimos cuadrados reponderados iterativamente, y los métodos de Newton y cuasi-Newton ajustan innumerables modelos estadísticos no lineales; la curvatura que estos métodos calculan también produce errores estándar para las estimaciones.

History

El método de búsqueda de raíces de Newton-Raphson es anterior a la estadística, pero la introducción de la puntuación por Fisher lo vinculó a la estimación de máxima verosimilitud; el análisis numérico de mediados del siglo XX añadió los métodos cuasi-Newton, que juntos se convirtieron en la columna vertebral del ajuste de modelos estadísticos.

Key figures

• Isaac Newton
• Joseph Raphson
• Ronald A. Fisher
• Jorge Nocedal

Seminal works

• givens2013
• nocedal2006

Frequently asked questions

¿Por qué el método de Newton-Raphson converge tan rápidamente cerca del óptimo?

Ajusta un modelo cuadrático local utilizando tanto la pendiente como la curvatura del objetivo, por lo que cada paso se acerca mucho al óptimo verdadero, lo que proporciona una convergencia cuadrática. La desventaja es que necesita la Hessiana y puede ser inestable lejos de la solución.

¿Cuándo se prefiere la puntuación de Fisher al método de Newton-Raphson simple?

La puntuación de Fisher utiliza la información esperada, que a menudo es definida positiva y más sencilla de calcular que la Hessiana observada, lo que hace que la iteración sea más estable. Es el método estándar detrás del ajuste de modelos lineales generalizados.