Estimación por máxima verosimilitud

La estimación por máxima verosimilitud elige el valor del parámetro bajo el cual los datos observados son más probables, proporcionando una receta general y asintóticamente óptima para la estimación.

Definition

El estimador de máxima verosimilitud es el valor del parámetro que maximiza la función de verosimilitud, es decir, la probabilidad o densidad de los datos observados considerada como una función del parámetro.

Scope

Este tema cubre las funciones de verosimilitud y log-verosimilitud, las ecuaciones de puntuación y la información de Fisher, la existencia y el cálculo de los estimadores de máxima verosimilitud, la propiedad de invarianza bajo reparametrización, y la teoría de grandes muestras que establece la consistencia, la normalidad asintótica y la eficiencia asintótica, junto con las condiciones de regularidad que requieren estos resultados y los fallos comunes como los casos de frontera y no regulares.

Core questions

• ¿Cómo se define la función de verosimilitud y por qué se maximiza en lugar de la probabilidad del parámetro?
• ¿Cuáles son las ecuaciones de puntuación y cómo interviene la información de Fisher en la solución?
• ¿Bajo qué condiciones de regularidad el estimador de máxima verosimilitud es consistente y asintóticamente normal?
• ¿Cuándo falla la máxima verosimilitud, como en problemas no regulares o de frontera?

Key theories

Principio de verosimilitud y la puntuación

La inferencia se rige por la función de verosimilitud; igualar a cero la puntuación, su derivada, da las ecuaciones de estimación cuya solución es el estimador de máxima verosimilitud.

Eficiencia asintótica

Bajo condiciones de regularidad, el estimador de máxima verosimilitud es consistente, asintóticamente normal con una varianza igual a la inversa de la información de Fisher, y asintóticamente eficiente, alcanzando el límite de Cramer-Rao en el límite.

Clinical relevance

La máxima verosimilitud es el motor de estimación predeterminado para la regresión, los modelos lineales generalizados, los modelos mixtos, el análisis de supervivencia y la mayoría de los modelos probabilísticos de aprendizaje automático, donde minimizar una pérdida de log-verosimilitud negativa es equivalente a maximizar la verosimilitud.

History

Fisher formalizó la máxima verosimilitud y demostró su eficiencia en artículos desde 1912 hasta la década de 1920. Wald estableció condiciones rigurosas de consistencia en 1949, y el trabajo de Le Cam a mediados de siglo clarificó la teoría asintótica local que sustenta los resultados modernos de eficiencia.

Key figures

• Ronald A. Fisher
• Abraham Wald
• Lucien Le Cam
• Aad van der Vaart

Seminal works

• lehmannCasella1998

Frequently asked questions

¿La máxima verosimilitud siempre produce un estimador insesgado?

No. Los estimadores de máxima verosimilitud pueden ser sesgados en muestras finitas, por ejemplo, la varianza de máxima verosimilitud de una distribución normal; el sesgo típicamente desaparece a medida que la muestra aumenta.

¿Por qué maximizar la log-verosimilitud en lugar de la verosimilitud?

El logaritmo es creciente, por lo que tiene el mismo maximizador, pero convierte los productos en sumas, simplificando la diferenciación y mejorando la estabilidad numérica.