몬테카를로 방법

몬테카를로 방법은 시뮬레이션된 무작위 추출을 통해 적분, 기댓값 및 확률을 근사하며, 다루기 어려운 해석적 계산을 표본 흐름에 적용된 큰 수의 법칙으로 대체합니다.

Definition

몬테카를로 방법은 적절한 확률 분포에서 추출된 표본에서 평가된 함수의 평균으로 결정론적 양, 일반적으로 적분 또는 기댓값을 추정하는 계산 기법입니다.

Scope

이 영역은 적분 및 기댓값의 단순 몬테카를로 추정, 재가중 전략으로서의 중요도 샘플링, 그리고 깁스 샘플러를 포함한 복잡한 고차원 분포에서 샘플링하기 위한 마르코프 연쇄 몬테카를로를 다룹니다. 이는 물리학 특정 시뮬레이션 모델보다는 이러한 추정량의 통계 이론(일관성, 오류율, 유효 표본 크기)을 다룹니다.

Sub-topics

• Gibbs Sampling (Statistical Computing)
• Importance Sampling
• Markov Chain Monte Carlo
• Monte Carlo Integration

Core questions

• 무작위 표본의 평균이 어떻게 적분을 추정하며, 오류는 어떤 속도로 감소합니까?
• 한 분포에서 샘플링하여 다른 분포에서의 기댓값을 어떻게 추정할 수 있습니까?
• 정상 분포가 관심 대상이 되도록 마르코프 연쇄를 어떻게 구성할 수 있습니까?
• 추출이 종속적일 때 몬테카를로 추정치의 정확도는 어떻게 정량화됩니까?

Key theories

몬테카를로 추정

큰 수의 법칙에 따라 독립적인 추출에서 평가된 함수의 표본 평균은 그 기댓값으로 수렴하며, 중심 극한 정리는 차원에 관계없이 제곱근 n 오류율을 제공합니다.

마르코프 연쇄 몬테카를로

불변 분포가 대상인 마르코프 연쇄를 구성하면 상수까지 알려진 분포에서 샘플링할 수 있으며, 연쇄의 에르고딕 평균이 기댓값을 추정합니다.

중요도 샘플링을 통한 측도 변경

다루기 쉬운 제안 분포에서 추출하고 대상 분포와 제안 분포 밀도의 비율로 재가중하면 대상 분포에서의 기댓값에 대한 편향 없는 추정치를 얻을 수 있으며, 효율성은 가중치 분산에 의해 결정됩니다.

Clinical relevance

몬테카를로 방법은 현대 통계학의 계산 엔진입니다. 이는 베이즈 사후 분포를 평가하고, 잠재 변수를 통합하며, 복잡한 모델을 통해 불확실성을 전파하고, 폐쇄형 해답이 존재하지 않는 환경에서 p-값과 위험을 추정하며, 물리학, 유전학, 금융 및 역학에 걸쳐 응용됩니다.

History

몬테카를로 방법은 1940년대 로스앨러모스에서 핵물리학 계산에서 시작되었으며 카지노의 이름을 따서 명명되었습니다. 메트로폴리스 알고리즘은 1953년에 나왔고, 헤이스팅스는 1970년에 이를 일반화했으며, 1990년대 통계학자들에 의한 깁스 샘플링의 재발견은 마르코프 연쇄 몬테카를로를 계산 베이즈 통계학의 지배적인 도구로 만들었습니다.

Key figures

• Nicholas Metropolis
• Stanislaw Ulam
• Christian P. Robert
• Andrew Gelman

Seminal works

• robert2004
• metropolis1949

Frequently asked questions

몬테카를로 오류가 차원에 따라 증가하지 않는 이유는 무엇입니까?

단순 몬테카를로 평균의 표준 오차는 적분의 차원에 관계없이 추출 횟수의 제곱근에 반비례하여 감소합니다. 이러한 차원 독립성은 몬테카를로가 고차원 문제에서 그리드 기반 구적법보다 우수한 경우가 많은 이유입니다.

단순 몬테카를로와 마르코프 연쇄 몬테카를로의 차이점은 무엇입니까?

단순 몬테카를로는 대상 분포에서 독립적인 추출을 사용합니다. 반면 마르코프 연쇄 몬테카를로는 장기 분포가 대상인 종속적인 시퀀스를 시뮬레이션하여 직접 추출할 수 없는 분포를 샘플링할 수 있게 합니다.