베이즈 정리와 사후분포

베이즈 정리는 미지의 모수에 대한 사후분포를 데이터의 우도에 사전분포를 곱한 값에 비례하는 것으로 표현하며, 모든 베이즈 추론의 핵심 동력입니다.

Definition

베이즈 정리는 사후 밀도 p(theta | y)가 우도 p(y | theta)에 사전분포 p(theta)를 곱한 값을 주변 우도 p(y)로 나눈 것과 같다고 명시합니다. p(y)는 theta에 의존하지 않으므로, 사후분포는 종종 우도에 사전분포를 곱한 값에 비례하는 것으로 표현됩니다.

Scope

이 주제는 추론을 위한 베이즈 정리의 진술과 유도, 비례 형식, 사후분포를 정규화하는 주변 우도, 그리고 사후 평균, 신뢰 구간, 사후 예측 분포와 같은 요약 통계량을 얻는 방법을 다룹니다.

Core questions

• 사전분포와 우도로부터 사후분포는 어떻게 유도됩니까?
• 주변 우도란 무엇이며 왜 정규화 상수로 작용합니까?
• 사후분포에서 점 추정치와 신뢰 구간은 어떻게 추출됩니까?
• 사후 예측 분포란 무엇이며 어떻게 계산됩니까?

Key concepts

• 사전분포
• 우도
• 사후분포
• 주변 우도
• 신뢰 구간
• 사후 예측 분포
• 정규화 상수

Key theories

사후 비례성

주변 우도는 모수에 대해 상수이므로, 추론은 정규화까지 우도와 사전분포의 곱에만 의존하며, 이는 대부분의 계산 방법에서 활용되는 형식입니다.

사후 예측 분포

미래 또는 반복된 데이터는 사후분포에 대한 표본 분포를 평균하여 예측되며, 점 추정치를 대입하는 대신 모수 불확실성을 통합합니다.

Clinical relevance

사후 추론은 진단 검사 해석, 물리 과학에서의 모수 추정, 확률적 예측을 포함하여 관심 있는 양을 보정된 불확실성과 함께 추정해야 하는 모든 곳에서 사용됩니다.

History

이 규칙은 베이즈의 1763년 에세이에서 유래했으며, 라플라스에 의해 역확률 방법으로 일반화되었습니다. 단일 역확률 추정치보다는 전체 사후분포에 대한 현대적 강조는 20세기 베이즈 문헌에서 확립되었습니다.

Key figures

• Thomas Bayes
• Pierre-Simon Laplace
• Harold Jeffreys

Seminal works

• gelman2013
• bayes1763

Frequently asked questions

신뢰 구간이란 무엇입니까?

신뢰 구간은 명시된 사후 확률(예: 95%)로 모수를 포함하는 범위입니다. 빈도주의적 신뢰 구간과 달리, 이는 주어진 데이터와 사전분포에 대한 모수에 대한 직접적인 확률 진술입니다.

주변 우도를 계산하지 않고 사후분포를 작성할 수 있는 이유는 무엇입니까?

주변 우도는 모수에 대한 상수이므로 사후분포의 스케일만 조정합니다. MCMC와 같은 많은 알고리즘은 이 상수에 비례하는 사후분포만 필요로 합니다.