การสุ่มตัวอย่างแบบกิบส์ (Gibbs Sampling)

การสุ่มตัวอย่างแบบกิบส์จะสำรวจการแจกแจงภายหลัง (posterior) โดยการปรับปรุงพารามิเตอร์แต่ละตัวตามลำดับจากการแจกแจงแบบมีเงื่อนไขสมบูรณ์ (full conditional distribution) ของพารามิเตอร์นั้น โดยกำหนดให้พารามิเตอร์อื่น ๆ ทั้งหมดคงที่

Definition

การสุ่มตัวอย่างแบบกิบส์เป็นวิธีการ MCMC ที่วนรอบส่วนประกอบของเวกเตอร์พารามิเตอร์ โดยสุ่มแต่ละส่วนประกอบจากการแจกแจงภายหลังแบบมีเงื่อนไข (conditional posterior distribution) โดยกำหนดค่าปัจจุบันของส่วนประกอบอื่น ๆ ทั้งหมด ทำให้เกิดสายโซ่ที่มีการแจกแจงคงที่ (stationary distribution) เป็นการแจกแจงร่วมภายหลัง (joint posterior)

Scope

หัวข้อนี้ครอบคลุมการปรับปรุงแบบมีเงื่อนไขสมบูรณ์ซึ่งเป็นตัวกำหนดตัวสุ่มแบบกิบส์ สถานะของการสุ่มตัวอย่างแบบกิบส์ในฐานะกรณีพิเศษของ Metropolis-Hastings ที่มีโอกาสยอมรับเป็นหนึ่ง การใช้การเสริมข้อมูล (data augmentation) เพื่อสร้างเงื่อนไขที่สามารถจัดการได้ และกลยุทธ์การบล็อก (blocking) และการยุบรวม (collapsing) ที่ช่วยปรับปรุงการผสม (mixing)

Core questions

• การแจกแจงแบบมีเงื่อนไขสมบูรณ์คืออะไร และนำมาใช้อย่างไรในการสุ่มตัวอย่างแบบกิบส์?
• เหตุใดการสุ่มตัวอย่างแบบกิบส์จึงเป็นกรณีพิเศษของ Metropolis-Hastings?
• การเสริมข้อมูลสร้างเงื่อนไขที่สามารถจัดการได้อย่างไร?
• การบล็อกและการยุบรวมช่วยเพิ่มประสิทธิภาพของตัวสุ่มได้อย่างไร?

Key concepts

• การแจกแจงแบบมีเงื่อนไขสมบูรณ์ (full conditional distribution)
• การเสริมข้อมูล (data augmentation)
• การบล็อก (blocking)
• การยุบรวม (collapsing)
• ตัวแปรแฝง (latent variables)
• การปรับปรุงแบบส่วนประกอบ (componentwise updating)

Key theories

การปรับปรุงแบบมีเงื่อนไขสมบูรณ์ (Full-conditional updating)

การสุ่มพารามิเตอร์แต่ละตัวจากการแจกแจงแบบมีเงื่อนไขสมบูรณ์จะทำให้การแจกแจงร่วมภายหลังไม่เปลี่ยนแปลง เมื่อเงื่อนไขเป็นแบบสังยุค (conjugate) การปรับปรุงจะเป็นแบบปิด (closed-form) และการยอมรับจะเป็นไปโดยอัตโนมัติ

การเสริมข้อมูล (Data augmentation)

การแนะนำตัวแปรแฝงสามารถทำให้เงื่อนไขที่ไม่สามารถจัดการได้กลายเป็นมาตรฐานได้ เปลี่ยนปัญหาที่ยาก เช่น แบบจำลองแบบผสม (mixtures) และแบบจำลองโปรบิต (probit models) ให้เป็นการปรับปรุงแบบกิบส์ที่ตรงไปตรงมา

Clinical relevance

การสุ่มตัวอย่างแบบกิบส์ทำให้แบบจำลองแบบลำดับชั้น (hierarchical models) และแบบจำลองตัวแปรแฝง (latent-variable models) กลายเป็นเรื่องปกติ และเป็นพื้นฐานของซอฟต์แวร์ที่ใช้กันอย่างแพร่หลาย เช่น BUGS และ JAGS สำหรับการสร้างแบบจำลองเบย์เซียนประยุกต์ในชีวสถิติและสังคมศาสตร์

History

Geman และ Geman ได้นำเสนอตัวสุ่มแบบกิบส์ในปี 1984 สำหรับการฟื้นฟูภาพ โดยตั้งชื่อตามการแจกแจงแบบกิบส์ในฟิสิกส์เชิงสถิติ บทความของ Gelfand และ Smith ในปี 1990 ได้แสดงให้เห็นถึงการประยุกต์ใช้อย่างกว้างขวางกับการอนุมานแบบเบย์เซียน ซึ่งกระตุ้นให้เกิดการนำไปใช้อย่างแพร่หลาย

Debates

การผสมที่ช้าภายใต้การพึ่งพาที่แข็งแกร่ง (Slow mixing under strong dependence)

การปรับปรุงแบบกิบส์แบบส่วนประกอบอาจผสมได้ไม่ดีเมื่อพารามิเตอร์มีความสัมพันธ์กันสูง ซึ่งกระตุ้นให้เกิดการปรับพารามิเตอร์ใหม่ การบล็อก หรือทางเลือกอื่น ๆ ที่อิงตามการไล่ระดับ (gradient-based alternatives)

Key figures

• Stuart Geman
• Donald Geman
• Alan Gelfand
• Adrian Smith

Seminal works

• geman1984
• gelfand1990

Frequently asked questions

เมื่อใดที่การสุ่มตัวอย่างแบบกิบส์เป็นทางเลือกที่ดี?

การสุ่มตัวอย่างแบบกิบส์เหมาะสำหรับแบบจำลองที่มีเงื่อนไขสมบูรณ์แบบสังยุคหรือแบบมาตรฐานอื่น ๆ เช่น แบบจำลองแบบลำดับชั้นและแบบจำลองตัวแปรแฝงจำนวนมาก แต่ก็อาจผสมได้ช้าเมื่อพารามิเตอร์มีความสัมพันธ์กันอย่างมาก