Estimação de Bayes e por Encolhimento (Shrinkage)

Os estimadores de Bayes combinam crenças prévias com dados para minimizar o risco médio, e os estimadores por encolhimento exploram o fato surpreendente de que puxar as estimativas em direção a um centro pode dominar o estimador óbvio.

Definition

Um estimador de Bayes minimiza a perda esperada, calculada sobre uma distribuição a priori no parâmetro; um estimador por encolhimento (shrinkage) intencionalmente vicia uma estimativa em direção a um ponto fixo ou média comum para reduzir seu erro quadrático médio geral.

Scope

Este tópico abrange distribuições a priori e a posteriori, estimadores de Bayes como médias posteriores sob perda de erro quadrático e outras funções de perda, a relação entre risco de Bayes e risco frequentista, o estimador de James-Stein e o paradoxo de Stein de inadmissibilidade em três ou mais dimensões, Bayes empírico e encolhimento hierárquico, e o trade-off viés-variância que torna o encolhimento vantajoso.

Core questions

• Como um estimador de Bayes é derivado da distribuição posterior sob uma dada função de perda?
• Por que o estimador de James-Stein domina a média amostral em três ou mais dimensões?
• Como o Bayes empírico "empresta força" entre problemas de estimação relacionados?
• Quando o viés introduzido pelo encolhimento compensa na redução do risco?

Key theories

Estimadores de Bayes e expectativa posterior

Sob perda de erro quadrático, o estimador de Bayes é a média posterior; para outras perdas, é o resumo posterior correspondente, e minimiza o risco de Bayes calculado sobre a priori.

O paradoxo de Stein e o estimador de James-Stein

Ao estimar três ou mais médias simultaneamente, a média amostral é inadmissível sob perda de erro quadrático, e o estimador de James-Stein, que encolhe em direção a um ponto comum, possui um risco uniformemente menor.

Clinical relevance

Os estimadores por encolhimento e de Bayes empírico melhoram a precisão quando muitas quantidades relacionadas são estimadas simultaneamente, como na estimação de pequenas áreas, classificações esportivas e educacionais, genômica, e regressão ridge e regularizada, onde a agregação de informações entre unidades supera o tratamento de cada uma isoladamente.

History

Stein demonstrou em 1956 que o estimador usual de uma média normal multivariada é inadmissível em três ou mais dimensões, e James e Stein apresentaram um estimador dominante em 1961. Efron e Morris reformularam o resultado através de Bayes empírico na década de 1970, tornando o encolhimento uma ferramenta prática.

Key figures

• Charles Stein
• Willard James
• Bradley Efron
• James O. Berger

Seminal works

• berger1985

Frequently asked questions

Por que um estimador viciado seria preferível?

Porque o erro quadrático médio combina viés e variância; um pequeno viés que proporciona uma grande redução na variância pode diminuir o erro total, o que é exatamente o que os estimadores por encolhimento exploram.

O paradoxo de Stein é realmente um paradoxo?

É surpreendente em vez de contraditório: ele mostra que a estimação de várias médias não relacionadas é melhorada ao encolhê-las conjuntamente, porque o risco combinado, e não cada estimativa separada, é o que é reduzido.