Markov Chain Monte Carlo (MCMC) — Metropolis-Hastings และ Gibbs Sampling

Markov Chain Monte Carlo (MCMC) เป็นกลุ่มของอัลกอริทึมการจำลองที่สร้าง Markov chain ซึ่งการแจกแจงแบบคงที่ (stationary distribution) คือการแจกแจงภายหลัง (posterior distribution) เป้าหมาย ทำให้สามารถอนุมานแบบเบย์ (Bayesian inference) และคำนวณปริพันธ์มิติสูง (high-dimensional integral computation) ที่หากไม่เช่นนั้นแล้วจะไม่มีรูปแบบปิดเชิงวิเคราะห์ (analytically intractable) MCMC ซึ่งริเริ่มโดย Metropolis และคณะในปี 1953 และพัฒนาต่อโดย Hastings ในปี 1970 เป็นรากฐานของสถิติแบบเบย์สมัยใหม่ รูปแบบที่นิยมใช้กันมากที่สุดสองรูปแบบคือ Metropolis-Hastings ซึ่งเสนอการเคลื่อนที่จากฟังก์ชันการเสนอ (proposal distribution) ทั่วไป และ Gibbs sampling ซึ่งสุ่มเลือกพารามิเตอร์แต่ละตัวตามลำดับจากฟังก์ชันเงื่อนไขเต็ม (full conditional distribution) ของมัน