Estimación insesgada y la cota de Cramer-Rao

Entre los estimadores que son correctos en promedio, la desigualdad de Cramer-Rao establece un límite inferior para la varianza, y los teoremas de Rao-Blackwell y Lehmann-Scheffe muestran cómo alcanzarlo.

Definition

Un estimador es insesgado si su valor esperado es igual al parámetro para cada valor del parámetro; la cota de Cramer-Rao establece que la varianza de cualquier estimador insesgado es al menos el inverso de la información de Fisher.

Scope

Este tema cubre el insesgamiento y sus limitaciones, la información de Fisher para uno y varios parámetros, la cota inferior de Cramer-Rao sobre la varianza de un estimador insesgado, las condiciones para alcanzar la cota, el teorema de Rao-Blackwell sobre la mejora de un estimador al condicionar sobre una estadística suficiente, y el teorema de Lehmann-Scheffe que identifica el estimador insesgado de varianza mínima único a través de estadísticas suficientes completas.

Core questions

• ¿Qué es la información de Fisher y cómo cuantifica la precisión disponible en los datos?
• ¿Por qué ningún estimador insesgado puede tener una varianza por debajo de la cota de Cramer-Rao, y cuándo se alcanza la cota?
• ¿Cómo reduce la varianza el condicionamiento sobre una estadística suficiente, a través de Rao-Blackwell?
• ¿Cómo la completitud y la suficiencia juntas, a través de Lehmann-Scheffe, distinguen el mejor estimador insesgado?

Key theories

Desigualdad de información de Cramer-Rao

Bajo condiciones de regularidad, la varianza de un estimador insesgado está acotada inferiormente por el recíproco de la información de Fisher, definiendo la eficiencia como el logro de esta cota.

Teoremas de Rao-Blackwell y Lehmann-Scheffe

Condicionar cualquier estimador insesgado sobre una estadística suficiente nunca aumenta su varianza; si esa estadística es también completa, el resultado es el estimador insesgado de varianza mínima único.

Clinical relevance

La cota de Cramer-Rao y la información de Fisher establecen el límite fundamental de precisión de un experimento, guiando el diseño experimental óptimo y la calibración de sensores, mientras que los estimadores insesgados de varianza mínima proporcionan estimaciones de referencia con las que se comparan los procedimientos prácticos.

History

Cramer y Rao establecieron independientemente la cota de varianza alrededor de 1945. El resultado de mejora por condicionamiento de Rao y Blackwell y el teorema de unicidad de Lehmann y Scheffe siguieron a finales de la década de 1940 y principios de la de 1950, completando la teoría clásica de la estimación insesgada.

Key figures

• Calyampudi Radhakrishna Rao
• Harald Cramer
• David Blackwell
• Henry Scheffe

Seminal works

• lehmannCasella1998

Frequently asked questions

¿Es siempre alcanzable la cota de Cramer-Rao?

No. Se alcanza solo en casos especiales, principalmente familias exponenciales; en general, el estimador insesgado de varianza mínima puede tener una varianza estrictamente por encima de la cota.

¿Qué mide la información de Fisher?

Mide cuán bruscamente responde la verosimilitud a los cambios en el parámetro, y por lo tanto cuánta información contienen los datos al respecto; una mayor información de Fisher permite una estimación más precisa.