깁스 샘플링

깁스 샘플링은 다른 모든 매개변수가 주어진 상태에서 각 매개변수를 조건부 분포로부터 차례로 업데이트하여 사후 분포를 탐색합니다.

Definition

깁스 샘플링은 매개변수 벡터의 구성요소를 순환하며, 다른 모든 구성요소의 현재 값이 주어진 상태에서 각 구성요소를 조건부 사후 분포로부터 추출하여, 정상 분포가 결합 사후 분포인 체인(chain)을 생성하는 MCMC 방법입니다.

Scope

이 주제는 깁스 샘플러를 정의하는 완전 조건부 업데이트, 수용 확률이 1인 메트로폴리스-헤이스팅스(Metropolis-Hastings)의 특수한 경우로서의 지위, 다루기 쉬운 조건부를 생성하기 위한 데이터 증강(data augmentation)의 사용, 그리고 혼합(mixing)을 개선하는 블로킹(blocking) 및 축소(collapsing) 전략을 다룹니다.

Core questions

• 완전 조건부 분포는 무엇이며 깁스 샘플링에서 어떻게 사용됩니까?
• 깁스 샘플링이 메트로폴리스-헤이스팅스의 특수한 경우인 이유는 무엇입니까?
• 데이터 증강은 어떻게 다루기 쉬운 조건부를 생성합니까?
• 블로킹과 축소는 샘플러의 효율성을 어떻게 개선합니까?

Key concepts

• 완전 조건부 분포
• 데이터 증강
• 블로킹
• 축소
• 잠재 변수
• 구성요소별 업데이트

Key theories

완전 조건부 업데이트

각 매개변수를 완전 조건부로부터 샘플링하는 것은 결합 사후 분포를 불변하게 유지합니다. 조건부가 켤레(conjugate)일 때 업데이트는 닫힌 형식(closed-form)이며 수용은 자동적으로 이루어집니다.

데이터 증강

잠재 변수를 도입하면 다루기 어려운 조건부를 표준적인 형태로 만들 수 있으며, 혼합 모델 및 프로빗 모델과 같은 어려운 문제를 간단한 깁스 업데이트로 전환할 수 있습니다.

Clinical relevance

깁스 샘플링은 계층적 모델과 잠재 변수 모델을 일상적으로 만들었으며, 생물통계학 및 사회 과학 분야에서 응용 베이즈 모델링을 위한 BUGS 및 JAGS와 같은 널리 사용되는 소프트웨어의 기반이 됩니다.

History

Geman과 Geman은 1984년 이미지 복원을 위해 깁스 샘플러를 도입했으며, 통계 물리학의 깁스 분포(Gibbs distributions)의 이름을 따서 명명했습니다. Gelfand와 Smith의 1990년 논문은 베이즈 추론에 대한 광범위한 적용 가능성을 보여주어 널리 채택되는 계기가 되었습니다.

Debates

강한 의존성 하에서의 느린 혼합

매개변수가 고도로 상관되어 있을 때 구성요소별 깁스 업데이트는 혼합이 좋지 않을 수 있으며, 이는 재매개변수화(reparameterization), 블로킹 또는 경사 기반 대안을 모색하게 합니다.

Key figures

• Stuart Geman
• Donald Geman
• Alan Gelfand
• Adrian Smith

Seminal works

• geman1984
• gelfand1990

Frequently asked questions

깁스 샘플링은 언제 좋은 선택입니까?

깁스 샘플링은 많은 계층적 모델 및 잠재 변수 모델과 같이 켤레 또는 기타 표준 완전 조건부를 가진 모델에 적합하지만, 매개변수가 강하게 상관되어 있을 때는 혼합이 느릴 수 있습니다.