Estimación Bayesiana y por Contracción

Los estimadores bayesianos combinan creencias previas con datos para minimizar el riesgo promedio, y los estimadores por contracción explotan el hecho sorprendente de que acercar las estimaciones a un centro puede dominar al estimador obvio.

Definition

Un estimador bayesiano minimiza la pérdida esperada promediada sobre una distribución a priori del parámetro; un estimador por contracción sesga deliberadamente una estimación hacia un punto fijo o una media común para reducir su error cuadrático medio general.

Scope

Este tema cubre las distribuciones a priori y la posterior, los estimadores bayesianos como medias posteriores bajo la función de pérdida de error cuadrático y otras funciones de pérdida, la relación entre el riesgo bayesiano y el riesgo frecuentista, el estimador de James-Stein y la paradoja de inadmisibilidad de Stein en tres o más dimensiones, el enfoque bayesiano empírico y la contracción jerárquica, y la compensación entre sesgo y varianza que hace ventajosa la contracción.

Core questions

• ¿Cómo se deriva un estimador bayesiano de la distribución posterior bajo una función de pérdida dada?
• ¿Por qué el estimador de James-Stein domina la media muestral en tres o más dimensiones?
• ¿Cómo el enfoque bayesiano empírico "toma prestada fuerza" entre problemas de estimación relacionados?
• ¿Cuándo el sesgo introducido por la contracción compensa con una reducción del riesgo?

Key theories

Estimadores bayesianos y esperanza posterior

Bajo la función de pérdida de error cuadrático, el estimador bayesiano es la media posterior; para otras pérdidas, es el resumen posterior correspondiente, y minimiza el riesgo bayesiano promediado sobre la distribución a priori.

La paradoja de Stein y el estimador de James-Stein

Al estimar tres o más medias simultáneamente, la media muestral es inadmisible bajo la función de pérdida de error cuadrático, y el estimador de James-Stein, que se contrae hacia un punto común, tiene un riesgo uniformemente menor.

Clinical relevance

Los estimadores por contracción y bayesianos empíricos mejoran la precisión cuando se estiman muchas cantidades relacionadas a la vez, como en la estimación de áreas pequeñas, clasificaciones deportivas y educativas, genómica, y regresión ridge y regularizada, donde la combinación de información entre unidades supera el tratamiento de cada una de forma aislada.

History

Stein demostró en 1956 que el estimador usual de una media normal multivariante es inadmisible en tres o más dimensiones, y James y Stein exhibieron un estimador dominante en 1961. Efron y Morris reformularon el resultado a través del enfoque bayesiano empírico en la década de 1970, convirtiendo la contracción en una herramienta práctica.

Key figures

• Charles Stein
• Willard James
• Bradley Efron
• James O. Berger

Seminal works

• berger1985

Frequently asked questions

¿Por qué se preferiría un estimador sesgado?

Porque el error cuadrático medio combina sesgo y varianza; un pequeño sesgo que logra una gran reducción en la varianza puede disminuir el error total, que es exactamente lo que explotan los estimadores por contracción.

¿Es la paradoja de Stein realmente una paradoja?

Es sorprendente más que contradictoria: muestra que la estimación de varias medias no relacionadas mejora al contraerlas conjuntamente, porque lo que se reduce es el riesgo combinado, no cada estimación por separado.