약정보적 사전분포 및 정규화 사전분포

약정보적 사전분포는 강한 실질적 믿음을 부과하지 않으면서도 비현실적인 모수 값을 배제하고 추정치를 안정화하는, 의도적으로 완화된 적절한 사전분포입니다.

Definition

약정보적 사전분포는 그 범위 내의 특정 값에 대해 확정적이지 않으면서도, 사후분포를 정규화하고 계산을 개선하기에 충분한 정보를 제공하도록, 그럴듯한 모수 값의 척도에서 넓게 선택된 적절한 사전분포입니다.

Scope

이 주제는 평평한 사전분포(flat priors)에 비해 약정보적 사전분포(weakly informative priors)를 사용하는 근거, 이들의 정규화 및 축소 효과, 회귀 계수 및 척도 모수에 대한 기본 선택, 그리고 말굽(horseshoe) 및 베이지안 라쏘(Bayesian Lasso)와 같은 희소성 유도 사전분포를 다룹니다.

Core questions

• 실제로 약정보적 사전분포가 평평하거나 부적절한 사전분포보다 선호되는 이유는 무엇입니까?
• 사전분포는 어떻게 추정치를 정규화하고 그럴듯한 값으로 축소합니까?
• 회귀 계수 및 분산 모수에 대해 어떤 기본 사전분포가 권장됩니까?
• 말굽과 같은 희소성 사전분포는 잠재적으로 0인 많은 계수를 어떻게 처리합니까?

Key concepts

• 약정보적 사전분포
• 정규화
• 축소
• 말굽 사전분포
• 베이지안 라쏘
• 척도 사전분포
• 분리

Key theories

사전분포를 통한 정규화

유한한 척도를 가진 사전분포는 극단적인 추정치에 페널티를 부과하여 분산을 줄이고 분리 문제를 방지합니다. 많은 페널티화된 우도 추정량은 특정 사전분포 하의 사후 모드에 해당합니다.

전역-지역 축소

말굽과 같은 희소성 사전분포는 꼬리가 두꺼운 지역 척도와 전역 척도를 사용하여 작은 계수는 강하게 축소되는 반면 큰 신호는 축소되지 않도록 합니다.

Clinical relevance

정규화 사전분포는 유전체학 및 바이오마커 선택과 같은 고차원 및 희소 문제에서 추정치를 안정화하고, 데이터가 모수를 약하게 식별할 때 발산하는 추정치를 방지합니다.

History

2000년대에 베이지안 계산이 일상화되면서, '비정보적' 사전분포에서 추론과 샘플링을 모두 개선하는 약정보적 기본 사전분포로 관심이 옮겨갔습니다. 베이지안 라쏘와 2010년의 말굽 추정량을 포함한 희소성 사전분포는 이러한 사고를 고차원 회귀로 확장했습니다.

Debates

기본 사전분포는 얼마나 약해야 하는가?

약정보적 사전분포의 척도를 어떻게 설정해야 관련 척도에서 의도치 않게 결론을 편향시키지 않으면서 유용하게 정규화할 수 있는지에 대한 논의가 계속되고 있습니다.

Key figures

• Andrew Gelman
• Nicholas Polson
• James Scott
• Carlos Carvalho

Seminal works

• gelman2008
• carvalho2010

Frequently asked questions

약정보적 사전분포는 비정보적 사전분포와 어떻게 다릅니까?

비정보적 사전분포는 가능한 한 적은 정보를 추가하려고 시도하며 부적절할 수 있는 반면, 약정보적 사전분포는 적절하며 비현실적인 값을 배제하고 분석을 안정화하기 위해 의도적으로 완화된 정보를 추가합니다.