베이즈 및 축소 추정

베이즈 추정량은 사전 신념과 데이터를 혼합하여 평균 위험을 최소화하며, 축소 추정량은 추정치를 중심으로 당기는 것이 명백한 추정량보다 우월할 수 있다는 놀라운 사실을 활용합니다.

Definition

베이즈 추정량은 모수에 대한 사전 분포에 걸쳐 평균화된 기대 손실을 최소화합니다. 축소 추정량은 전체 평균 제곱 오차를 줄이기 위해 고정된 점 또는 공통 평균을 향해 의도적으로 추정치를 편향시킵니다.

Scope

이 주제는 사전 분포와 사후 분포, 제곱 오차 손실 및 기타 손실 함수 하에서의 사후 평균으로서의 베이즈 추정량, 베이즈 위험과 빈도주의적 위험 간의 관계, 제임스-스타인 추정량 및 3차원 이상에서의 비허용성이라는 스타인의 역설, 경험적 베이즈 및 계층적 축소, 그리고 축소를 유리하게 만드는 편향-분산 상충 관계를 다룹니다.

Core questions

• 주어진 손실 함수 하에서 사후 분포로부터 베이즈 추정량은 어떻게 도출됩니까?
• 제임스-스타인 추정량이 3차원 이상에서 표본 평균보다 우월한 이유는 무엇입니까?
• 경험적 베이즈는 관련 추정 문제 전반에 걸쳐 어떻게 강점을 빌려옵니까?
• 축소에 의해 도입된 편향이 위험 감소로 이어지는 경우는 언제입니까?

Key theories

베이즈 추정량과 사후 기대값

제곱 오차 손실 하에서 베이즈 추정량은 사후 평균입니다. 다른 손실의 경우 해당 사후 요약이며, 사전 분포에 걸쳐 평균화된 베이즈 위험을 최소화합니다.

스타인의 역설과 제임스-스타인 추정량

세 개 이상의 평균을 동시에 추정할 때, 제곱 오차 손실 하에서 표본 평균은 비허용적이며, 공통점을 향해 축소되는 제임스-스타인 추정량은 균일하게 더 작은 위험을 가집니다.

Clinical relevance

축소 및 경험적 베이즈 추정량은 소규모 지역 추정, 스포츠 및 교육 순위, 유전체학, 릿지 및 정규화 회귀와 같이 많은 관련 양이 동시에 추정될 때 정확도를 향상시킵니다. 이러한 경우 각 단위를 개별적으로 처리하는 것보다 단위 간 정보를 통합하는 것이 더 효과적입니다.

History

스타인은 1956년에 다변량 정규 평균의 일반적인 추정량이 3차원 이상에서 비허용적임을 보였고, 제임스와 스타인은 1961년에 우월한 추정량을 제시했습니다. 에프론과 모리스는 1970년대에 경험적 베이즈를 통해 이 결과를 재구성하여 축소를 실용적인 도구로 만들었습니다.

Key figures

• Charles Stein
• Willard James
• Bradley Efron
• James O. Berger

Seminal works

• berger1985

Frequently asked questions

편향된 추정량이 선호되는 이유는 무엇입니까?

평균 제곱 오차는 편향과 분산을 결합하기 때문입니다. 큰 분산 감소를 가져오는 작은 편향은 총 오차를 줄일 수 있으며, 이는 축소 추정량이 활용하는 부분입니다.

스타인의 역설은 정말 역설입니까?

그것은 모순적이라기보다는 놀라운 것입니다. 이는 여러 관련 없는 평균을 추정하는 것이 공동으로 축소함으로써 개선될 수 있음을 보여줍니다. 왜냐하면 각 개별 추정치가 아니라 결합된 위험이 감소하기 때문입니다.