베이즈 추론의 기초
베이즈 추론은 미지의 양을 확률 변수로 취급하며, 데이터를 기반으로 불확실성을 표현하고 업데이트하는 단일 계산법으로 확률을 사용합니다.
Definition
베이즈 추론은 베이즈 정리를 사용하여 미지의 매개변수에 대한 사전 확률 분포를 관측된 데이터에 대한 우도와 결합하여, 해당 미지량에 대한 남아있는 모든 불확실성을 정량화하는 사후 분포(posterior distribution)로 변환하는 과정입니다.
Scope
이 영역은 베이즈 접근법의 개념적, 수학적 핵심을 다룹니다: 업데이트 규칙으로서의 베이즈 정리, 우도(likelihood)의 역할, 믿음의 정도로서의 확률 해석, 통계적 모델링의 정당화로서의 교환가능성(exchangeability), 그리고 주관적 및 객관적 입장의 대비. 이는 이러한 원칙들을 기반으로 사전 분포(priors), 계산, 모델을 구축하는 베이즈 통계학의 나머지 부분을 구성합니다.
Sub-topics
Core questions
- 베이즈 정리는 사전 믿음과 관측된 데이터를 어떻게 결합하여 사후 분포를 도출하는가?
- 우도(likelihood)는 어떤 역할을 하며, 베이즈 추론은 왜 우도 원리(likelihood principle)를 따르는가?
- 교환가능성(exchangeability)은 매개변수가 주어졌을 때 관측치를 조건부 독립(conditionally independent)으로 표현하는 것을 어떻게 정당화하는가?
- 베이즈 확률의 주관적 해석과 객관적 해석의 차이점은 무엇인가?
Key concepts
- 사전 분포
- 우도 함수
- 사후 분포
- 주변 우도 (증거)
- 교환가능성
- 일관성
- 우도 원리
Key theories
- 추론으로서의 베이즈 정리
- 사후 분포는 우도에 사전 분포를 곱한 것에 비례합니다. 이 단일 항등식은 베이즈가 데이터를 관측한 후 불확실성을 합리적으로 업데이트하는 방식을 지배합니다.
- 드 피네티의 표현 정리
- 무한 교환가능(exchangeable) 시퀀스는 혼합 분포(mixing distribution)를 가진 미지의 매개변수가 주어졌을 때 조건부 독립동일분포(conditionally i.i.d.)로 표현될 수 있으며, 이는 모수 모델(parametric models)과 사전 분포에 대한 주관적 확률 기반을 제공합니다.
- 일관성(Coherence)과 더치 북 논증(Dutch-book argument)
- 확률 공리를 따르는 믿음의 정도는 '일관적(coherent)'이며, 확실한 손실을 초래하는 베팅 구성을 피합니다. 이 의사결정 이론적 논증은 믿음에 대한 베이즈의 확률 사용을 뒷받침합니다.
Clinical relevance
베이즈의 기초는 임상 시험 모니터링 및 유전학에서 물리학, 기계 학습 및 의사 결정 분석에 이르기까지 증거가 축적됨에 따라 불확실성을 정량화하고 업데이트해야 하는 모든 과학 분야의 응용 프로그램을 뒷받침합니다.
History
베이즈의 에세이(1763년 사후 출판)와 라플라스의 독립적인 발전은 역확률(inverse-probability) 방법의 시작을 알렸습니다. 20세기 초 빈도주의(frequentist) 방법에 의해 가려졌던 이 접근법은 제프리스(Jeffreys)의 객관적 사전 분포, 드 피네티(de Finetti)와 새비지(Savage)의 주관적 확률 기초, 그리고 1990년대 이후 광범위하게 실용화된 계산 발전으로 부활했습니다.
Debates
- 주관적 사전 분포 대 객관적 사전 분포
- 사전 분포가 진정한 개인적 믿음을 담아야 하는지, 아니면 그 영향을 최소화하기 위해 형식적인 규칙에 따라 선택되어야 하는지는 베이즈 통계학 내에서 근본적인 논쟁으로 남아 있습니다.
Key figures
- Thomas Bayes
- Pierre-Simon Laplace
- Bruno de Finetti
- Harold Jeffreys
- Leonard J. Savage
Related topics
Seminal works
- gelman2013
- robert2007
- definetti1937
Frequently asked questions
- 베이즈 추론은 빈도주의 추론과 어떻게 다른가요?
- 베이즈 추론은 미지의 매개변수에 확률 분포를 할당하고 사후 분포를 보고하는 반면, 빈도주의 추론은 매개변수를 고정된 것으로 간주하고 가상의 반복 샘플에 대한 추정량 및 절차의 장기적인 행동에 대해 추론합니다.
- 베이즈 추론은 주관적 사전 분포를 필요로 하나요?
- 사전 분포는 필요하지만, 사전 분포는 주관적일 수 있습니다(실제 믿음을 인코딩). 또는 약하게 정보적인(weakly informative) 객관적인 규칙에 따라 선택될 수도 있습니다. 충분한 데이터가 있을 경우 우도가 일반적으로 지배적이므로 선택의 중요성은 줄어듭니다.