위험과 허용성

위험 함수는 모든 매개변수 값에서 규칙의 예상 손실을 기록합니다. 허용성은 다른 어떤 규칙도 모든 면에서 최소한 동등하거나 어떤 면에서는 더 나은지 여부를 묻습니다.

Definition

결정 규칙의 위험 함수는 매개변수의 함수로서 예상 손실입니다. 어떤 다른 규칙이 모든 매개변수 값에 대해 위험이 더 크지 않고 적어도 하나에서는 엄격하게 더 작다면 그 규칙은 허용 불가능하며, 그러한 규칙이 존재하지 않는다면 허용 가능합니다.

Scope

이 주제는 손실 함수와 위험 함수, 위험 우위에 의한 규칙의 부분 순서, 허용 가능한 규칙과 허용 불가능한 규칙의 정의, 3차원 이상에서 표본 평균의 허용 불가능성을 중심 예시로 다룹니다. 또한 베이즈 및 극한-베이즈 논증과 스타인 항등식을 통한 허용성 증명 방법, 그리고 허용성과 불편향성 간의 관계를 다룹니다.

Core questions

• 위험 함수는 매개변수 공간 전체에서 규칙의 성능을 어떻게 요약합니까?
• 하나의 규칙이 다른 규칙을 지배한다는 것은 무엇을 의미하며, 따라서 규칙이 허용 불가능하다는 것은 무엇을 의미합니까?
• 제곱 오차 손실 하에서 표본 평균이 3차원 이상에서 허용 불가능한 이유는 무엇입니까?
• 베이즈 및 극한-베이즈 논증은 허용성을 증명하는 데 어떻게 사용됩니까?

Key theories

위험 우위와 허용성

어떤 규칙이 다른 규칙보다 위험이 균일하게 크지 않고 어떤 곳에서는 엄격하게 더 작을 때 그 규칙은 허용 불가능합니다. 허용 가능한 규칙은 균일하게 개선될 수 없는 규칙, 즉 최소한의 최적성 요구 사항입니다.

스타인의 허용 불가능성

제곱 오차 손실 하에서 다변량 정규 평균의 일반적인 추정량은 3차원 이상에서 허용 불가능하며, 수축 추정량에 의해 지배됩니다. 이 결과는 스타인 항등식을 사용하여 증명되었습니다.

Clinical relevance

익숙한 추정량이 허용 불가능할 수 있다는 인식은 고차원 예측에서 수축(shrinkage) 및 정규화(regularization)의 일상적인 사용을 정당화합니다. 여기서 추정량을 공통 중심으로 당기는 것은 각 좌표를 개별적으로 처리하는 것에 비해 총 위험을 입증 가능하게 낮춥니다.

History

Wald는 1940년대에 위험과 허용성을 도입했습니다. 1956년 Stein이 다변량 정규 평균 추정량이 3차원 이상에서 허용 불가능하다는 것을 증명한 것은 직관을 뒤엎었고, 1961년 James-Stein 추정량과 함께 허용성을 핵심 관심사로 만들었습니다.

Key figures

• Abraham Wald
• Charles Stein
• David Blackwell
• James O. Berger

Seminal works

• lehmannCasella1998

Frequently asked questions

규칙이 허용 가능하다면, 그것이 최상의 규칙입니까?

아닙니다. 허용성은 균일하게 패배하는 것을 배제할 뿐입니다. 많은 허용 가능한 규칙은 평범하며, 좋은 규칙도 허용 불가능할 수 있으므로, 허용성은 최적성을 위한 필요 조건이지만 충분 조건과는 거리가 니다.

스타인의 결과에서 3차원이 중요한 이유는 무엇입니까?

제곱 오차 손실 하에서 표본 평균의 허용 불가능성은 3차원 이상에서 성립하지만 1차원 또는 2차원에서는 성립하지 않습니다. 3차원 미만에서는 수축이 표본 평균을 균일하게 개선할 수 없습니다.