Tại sao HMC nhanh hơn Metropolis random-walk?

Bằng cách sử dụng thông tin gradient để đề xuất các quỹ đạo dài theo đường viền của phân bố hậu nghiệm, HMC tạo ra các mẫu gần như độc lập với tỷ lệ chấp nhận cao, tránh việc khám phá khuếch tán chậm của các phương pháp random-walk trong không gian nhiều chiều.

HMC yêu cầu gì mà các bộ lấy mẫu đơn giản hơn không yêu cầu?

Nó yêu cầu gradient của log-posterior đối với các tham số liên tục, đó là lý do tại sao nó thường được kết hợp với vi phân tự động và không thể xử lý trực tiếp các tham số rời rạc.

Hamiltonian Monte Carlo

Hamiltonian Monte Carlo sử dụng các gradient của log-posterior và động lực học vật lý mô phỏng để đề xuất các bước di chuyển xa, có tỷ lệ chấp nhận cao, cho phép lấy mẫu hiệu quả trong không gian nhiều chiều.

Tìm chủ đề với PaperMindSắp ra mắtFind papers & topics

Tools & resources

Tải xuống bản trình chiếu

Learn & explore

VideoSắp ra mắt

Definition

Hamiltonian Monte Carlo là một phương pháp MCMC giới thiệu các biến động lượng phụ trợ, mô phỏng động lực học Hamilton sử dụng gradient của log-posterior để đề xuất một trạng thái mới, và chấp nhận nó bằng một bước Metropolis để hiệu chỉnh lỗi tích phân số.

Scope

Chủ đề này bao gồm việc bổ sung các biến động lượng vào phân bố hậu nghiệm, tích phân leapfrog của động lực học Hamilton, hiệu chỉnh Metropolis cho lỗi rời rạc hóa, và thuật toán No-U-Turn Sampler tự động điều chỉnh độ dài đường đi và kích thước bước.

Core questions

Các biến động lượng và động lực học Hamilton tạo ra các đề xuất hiệu quả như thế nào?
Bộ tích phân leapfrog là gì và tại sao cần hiệu chỉnh Metropolis?
No-U-Turn Sampler loại bỏ nhu cầu điều chỉnh thủ công độ dài quỹ đạo như thế nào?
Tại sao HMC mở rộng quy mô tốt hơn các phương pháp random-walk trong không gian nhiều chiều?

Key concepts

biến động lượng
bộ tích phân leapfrog
động lực học Hamilton
kích thước bước
độ dài quỹ đạo
No-U-Turn Sampler
gradient của log-posterior

Key theories

Động lực học Hamilton để lấy mẫu: Việc bổ sung mục tiêu với động lượng Gauss và tuân theo động lực học bảo toàn thể tích, bảo toàn năng lượng cho phép bộ lấy mẫu đi qua phân bố hậu nghiệm với tỷ lệ chấp nhận cao và tương quan thấp giữa các trạng thái kế tiếp.
No-U-Turn Sampler: NUTS tự động chọn độ dài quỹ đạo bằng cách kéo dài đường đi cho đến khi nó bắt đầu quay ngược lại, và kết hợp điều này với việc điều chỉnh kích thước bước để loại bỏ hầu hết các điều chỉnh thủ công.

Clinical relevance

Hamiltonian Monte Carlo, đặc biệt thông qua NUTS, là bộ lấy mẫu mặc định trong các hệ thống lập trình xác suất như Stan và PyMC, giúp các mô hình phân cấp phức tạp có thể được điều chỉnh trong dược động học, sinh thái học và khoa học vật lý.

History

Hybrid Monte Carlo được Duane và các đồng nghiệp giới thiệu cho sắc động lực học lượng tử mạng tinh thể vào năm 1987; Neal đã điều chỉnh và phổ biến nó cho thống kê, và No-U-Turn Sampler của Hoffman và Gelman năm 2014 đã làm cho nó trở nên thực tế cho người dùng phổ thông, đặt nền móng cho lập trình xác suất hiện đại.

Debates

Độ nhạy với hình học và điều chỉnh: HMC có thể gặp khó khăn với các phân bố hậu nghiệm có độ cong mạnh hoặc đa phương thức và yêu cầu thông tin gradient, thúc đẩy các nghiên cứu về các biến thể Riemannian-manifold và thích ứng.

Key figures

Radford Neal
Simon Duane
Matthew Hoffman
Andrew Gelman
Michael Betancourt

Seminal works

neal2011
hoffman2014

Frequently asked questions

Tại sao HMC nhanh hơn Metropolis random-walk?: Bằng cách sử dụng thông tin gradient để đề xuất các quỹ đạo dài theo đường viền của phân bố hậu nghiệm, HMC tạo ra các mẫu gần như độc lập với tỷ lệ chấp nhận cao, tránh việc khám phá khuếch tán chậm của các phương pháp random-walk trong không gian nhiều chiều.
HMC yêu cầu gì mà các bộ lấy mẫu đơn giản hơn không yêu cầu?: Nó yêu cầu gradient của log-posterior đối với các tham số liên tục, đó là lý do tại sao nó thường được kết hợp với vi phân tự động và không thể xử lý trực tiếp các tham số rời rạc.