ฮามิลโทเนียนมอนเตคาร์โล

ฮามิลโทเนียนมอนเตคาร์โลใช้การไล่ระดับของลอการิทึมโพสทีเรียร์และพลศาสตร์ทางกายภาพจำลองเพื่อเสนอการเคลื่อนที่ระยะไกลที่มีอัตราการยอมรับสูง ซึ่งช่วยให้การสุ่มตัวอย่างมีประสิทธิภาพในมิติที่สูง

Definition

ฮามิลโทเนียนมอนเตคาร์โล (Hamiltonian Monte Carlo) เป็นวิธีการ MCMC ที่นำเสนอตัวแปรโมเมนตัมเสริม, จำลองพลศาสตร์ฮามิลโทเนียนโดยใช้การไล่ระดับของลอการิทึมโพสทีเรียร์เพื่อเสนอสถานะใหม่, และยอมรับสถานะนั้นด้วยขั้นตอนเมโทรโพลิสที่แก้ไขข้อผิดพลาดในการอินทิเกรตเชิงตัวเลข

Scope

หัวข้อนี้ครอบคลุมถึงการเพิ่มโพสทีเรียร์ด้วยตัวแปรโมเมนตัม, การอินทิเกรตแบบลีฟฟรอกของพลศาสตร์ฮามิลโทเนียน, การแก้ไขแบบเมโทรโพลิสสำหรับข้อผิดพลาดในการทำให้เป็นดิสครีต, และตัวสุ่มแบบ No-U-Turn Sampler ที่ปรับความยาวเส้นทางและขนาดขั้นตอนโดยอัตโนมัติ

Core questions

• ตัวแปรโมเมนตัมและพลศาสตร์ฮามิลโทเนียนสร้างข้อเสนอที่มีประสิทธิภาพได้อย่างไร?
• ตัวอินทิเกรตแบบลีฟฟรอกคืออะไร และเหตุใดจึงจำเป็นต้องมีการแก้ไขแบบเมโทรโพลิส?
• No-U-Turn Sampler ขจัดความจำเป็นในการปรับความยาววิถีด้วยมือได้อย่างไร?
• เหตุใด HMC จึงปรับขนาดได้ดีกว่าวิธีการสุ่มเดินในมิติที่สูง?

Key concepts

• ตัวแปรโมเมนตัม
• ตัวอินทิเกรตแบบลีฟฟรอก
• พลศาสตร์ฮามิลโทเนียน
• ขนาดขั้นตอน
• ความยาววิถี
• No-U-Turn Sampler
• การไล่ระดับของลอการิทึมโพสทีเรียร์

Key theories

พลศาสตร์ฮามิลโทเนียนสำหรับการสุ่มตัวอย่าง

การเพิ่มเป้าหมายด้วยโมเมนตัมแบบเกาส์เซียนและการติดตามพลศาสตร์ที่รักษาปริมาตรและอนุรักษ์พลังงาน ช่วยให้ตัวสุ่มสามารถสำรวจโพสทีเรียร์ได้ด้วยอัตราการยอมรับที่สูงและความสัมพันธ์ต่ำระหว่างสถานะที่ต่อเนื่องกัน

No-U-Turn Sampler

NUTS เลือกความยาววิถีโดยอัตโนมัติโดยการขยายเส้นทางจนกว่าจะเริ่มย้อนกลับ และรวมสิ่งนี้กับการปรับขนาดขั้นตอนเพื่อขจัดความจำเป็นในการปรับด้วยมือส่วนใหญ่

Clinical relevance

ฮามิลโทเนียนมอนเตคาร์โล โดยเฉพาะอย่างยิ่งผ่าน NUTS เป็นตัวสุ่มเริ่มต้นในระบบการเขียนโปรแกรมเชิงความน่าจะเป็น เช่น Stan และ PyMC ทำให้แบบจำลองลำดับชั้นที่ซับซ้อนสามารถปรับใช้ได้ในเภสัชจลนศาสตร์, นิเวศวิทยา, และวิทยาศาสตร์กายภาพ

History

ไฮบริดมอนเตคาร์โล (Hybrid Monte Carlo) ถูกนำมาใช้สำหรับควอนตัมโครโมไดนามิกส์แบบแลตทิซโดย Duane และคณะในปี 1987; Neal ได้ปรับปรุงและทำให้เป็นที่นิยมสำหรับการวิเคราะห์ทางสถิติ และ No-U-Turn Sampler ของ Hoffman และ Gelman ในปี 2014 ทำให้ใช้งานได้จริงสำหรับผู้ใช้ทั่วไป ซึ่งเป็นรากฐานของการเขียนโปรแกรมเชิงความน่าจะเป็นสมัยใหม่

Debates

ความไวต่อเรขาคณิตและการปรับแต่ง

HMC อาจประสบปัญหาเกี่ยวกับโพสทีเรียร์ที่มีความโค้งสูงหรือมีหลายโหมด และต้องการข้อมูลการไล่ระดับ ซึ่งกระตุ้นให้เกิดการพัฒนาตัวแปรแบบ Riemannian-manifold และแบบปรับตัวได้

Key figures

• Radford Neal
• Simon Duane
• Matthew Hoffman
• Andrew Gelman
• Michael Betancourt

Seminal works

• neal2011
• hoffman2014

Frequently asked questions

เหตุใด HMC จึงเร็วกว่า random-walk Metropolis?

ด้วยการใช้ข้อมูลการไล่ระดับเพื่อเสนอวิถีที่ยาวซึ่งเป็นไปตามรูปร่างของโพสทีเรียร์ HMC สร้างตัวอย่างที่เป็นอิสระเกือบทั้งหมดด้วยอัตราการยอมรับที่สูง หลีกเลี่ยงการสำรวจแบบแพร่กระจายที่ช้าของวิธีการสุ่มเดินในมิติที่สูง

HMC ต้องการอะไรที่ตัวสุ่มที่ง่ายกว่าไม่ต้องการ?

HMC ต้องการการไล่ระดับของลอการิทึมโพสทีเรียร์เทียบกับพารามิเตอร์ต่อเนื่อง ซึ่งเป็นเหตุผลว่าทำไมจึงมักจะจับคู่กับการหาอนุพันธ์อัตโนมัติและไม่สามารถจัดการกับพารามิเตอร์แบบไม่ต่อเนื่องได้โดยตรง