Estimação Não Viesada e o Limite de Cramer-Rao

Entre os estimadores que estão corretos em média, a desigualdade de Cramer-Rao estabelece um limite inferior para a variância, e os teoremas de Rao-Blackwell e Lehmann-Scheffe mostram como alcançá-lo.

Definition

Um estimador é não viesado se seu valor esperado for igual ao parâmetro para cada valor do parâmetro; o limite de Cramer-Rao afirma que a variância de qualquer estimador não viesado é pelo menos o inverso da informação de Fisher.

Scope

Este tópico abrange o não viés e suas limitações, a informação de Fisher para um e vários parâmetros, o limite inferior de Cramer-Rao para a variância de um estimador não viesado, as condições para atingir o limite, o teorema de Rao-Blackwell sobre a melhoria de um estimador pelo condicionamento em uma estatística suficiente, e o teorema de Lehmann-Scheffe que identifica o estimador não viesado de variância mínima único através de estatísticas suficientes completas.

Core questions

• O que é a informação de Fisher e como ela quantifica a precisão disponível nos dados?
• Por que nenhum estimador não viesado pode ter variância abaixo do limite de Cramer-Rao, e quando o limite é atingido?
• Como o condicionamento em uma estatística suficiente, via Rao-Blackwell, reduz a variância?
• Como a completude e a suficiência juntas, via Lehmann-Scheffe, selecionam o melhor estimador não viesado?

Key theories

Desigualdade de informação de Cramer-Rao

Sob condições de regularidade, a variância de um estimador não viesado é limitada inferiormente pelo recíproco da informação de Fisher, definindo a eficiência como o atingimento desse limite.

Teoremas de Rao-Blackwell e Lehmann-Scheffe

Condicionar qualquer estimador não viesado a uma estatística suficiente nunca aumenta sua variância; se essa estatística também for completa, o resultado é o estimador não viesado de variância mínima único.

Clinical relevance

O limite de Cramer-Rao e a informação de Fisher estabelecem o limite fundamental de precisão de um experimento, orientando o projeto experimental ideal e a calibração de sensores, enquanto os estimadores não viesados de variância mínima fornecem estimativas de referência contra as quais os procedimentos práticos são comparados.

History

Cramer e Rao estabeleceram independentemente o limite de variância por volta de 1945. O resultado de melhoria por condicionamento de Rao e Blackwell e o teorema de unicidade de Lehmann e Scheffe seguiram no final dos anos 1940 e início dos anos 1950, completando a teoria clássica da estimação não viesada.

Key figures

• Calyampudi Radhakrishna Rao
• Harald Cramer
• David Blackwell
• Henry Scheffe

Seminal works

• lehmannCasella1998

Frequently asked questions

O limite de Cramer-Rao é sempre alcançável?

Não. Ele é atingido apenas em casos especiais, principalmente famílias exponenciais; em geral, o estimador não viesado de variância mínima pode ter variância estritamente acima do limite.

O que a informação de Fisher mede?

Ela mede quão acentuadamente a verossimilhança responde a mudanças no parâmetro e, portanto, quanta informação os dados carregam sobre ele; uma informação de Fisher maior permite uma estimação mais precisa.