깁스 샘플링 (통계 계산)

깁스 샘플링은 마르코프 연쇄 몬테카를로 방법의 일종으로, 다변량 분포를 샘플링하기 위해 변수들을 순환하며 다른 변수들의 현재 값이 주어졌을 때 각 변수의 완전 조건부 분포로부터 차례로 추출하는 방식입니다.

Definition

깁스 샘플링은 마르코프 연쇄 몬테카를로 알고리즘으로, 모든 다른 구성 요소들이 주어졌을 때 각 구성 요소 또는 구성 요소 블록을 조건부 분포로부터 반복적으로 샘플링하여 결합 분포로부터 표본을 생성합니다.

Scope

이 주제는 깁스 샘플링을 계산 알고리즘으로 다룹니다: 완전 조건부 분포로부터 샘플러를 구성하는 방법, 수용 확률이 1인 메트로폴리스-해스팅스 단계로서의 해석, 혼합을 개선하는 블로킹 및 통합 전략, 데이터 증강, 그리고 알고리즘의 수렴 및 자기상관 거동에 대해 설명합니다. 응용 베이즈 추론 관점은 베이즈 계산에서 별도로 다룹니다.

Core questions

• 완전 조건부 분포로부터 반복적으로 추출한 표본들이 어떻게 결합 목표 분포로 수렴하는가?
• 깁스 샘플러가 수용 확률이 1인 메트로폴리스-해스팅스 알고리즘인 이유는 무엇인가?
• 블로킹과 통합은 샘플러의 혼합을 어떻게 개선하는가?
• 데이터 증강은 조건부 분포를 다루기 쉽게 만들기 위해 잠재 변수를 어떻게 도입하는가?

Key concepts

• 완전 조건부 분포
• 데이터 증강
• 블로킹 및 통합
• 조건부 분포의 호환성
• 혼합

Key theories

완전 조건부 샘플링

다른 변수들이 주어졌을 때 각 변수를 조건부 분포로부터 차례로 샘플링하는 것은 마르코프 연쇄를 정의하며, 조건부 분포들이 호환되고 연쇄가 비환원적(irreducible)이라면 이 연쇄의 정상 분포는 결합 목표 분포가 됩니다.

데이터 증강 및 블로킹

보조 잠재 변수를 도입하면 완전 조건부 분포를 표준적이고 샘플링하기 쉽게 만들 수 있으며, 상관된 변수들을 블록으로 업데이트하면 구성 요소별 업데이트가 유발할 수 있는 자기상관을 줄일 수 있습니다.

Clinical relevance

깁스 샘플링은 많은 모델들이 단순하고 표준적인 완전 조건부 분포를 가지기 때문에 통계 계산의 핵심 알고리즘으로 활용됩니다. 이는 범용 샘플러의 기반이 되며, 혼합 모델, 잠재 변수 모델, 이미지 복원 및 유전적 연관성 분석에 적용됩니다.

History

게만(Geman)과 게만(Geman)은 1984년 이미지 복원을 위해 깁스 샘플러를 도입했으며, 통계 물리학의 깁스 분포(Gibbs distributions)의 이름을 따서 명명했습니다. 겔판드(Gelfand)와 스미스(Smith)의 1990년 논문은 이 방법의 광범위한 적용 가능성을 보여주며 계산 통계학 전반에 걸쳐 널리 채택되는 계기가 되었습니다.

Key figures

• Stuart Geman
• Donald Geman
• Alan Gelfand
• Adrian Smith

Seminal works

• geman1984
• gelfand1990

Frequently asked questions

깁스 샘플링은 언제 특히 편리한가요?

완전 조건부 분포가 직접 샘플링할 수 있는 표준 분포일 때 특히 편리합니다. 이 경우 제안 분포(proposals)나 수용 단계(acceptance steps)를 조정할 필요가 없으며, 모든 제안이 수용되기 때문입니다.

깁스 샘플러가 느리게 혼합될 수 있는 이유는 무엇인가요?

변수들이 강하게 상관되어 있을 때, 한 번에 하나씩 업데이트하면 연쇄가 좁은 능선을 따라 작은 단계로 움직이게 되어 높은 자기상관을 생성합니다. 상관된 변수들을 블로킹하거나 모델을 재매개변수화(reparameterizing)하면 혼합을 개선할 수 있습니다.