Phân phối tiên nghiệm liên hợp

Phân phối tiên nghiệm liên hợp (conjugate prior) giữ cho phân phối hậu nghiệm (posterior) thuộc cùng một họ phân phối với phân phối tiên nghiệm, biến quá trình cập nhật Bayes thành một cập nhật đơn giản các tham số của họ phân phối đó.

Definition

Một họ các phân phối tiên nghiệm được gọi là liên hợp với một hàm khả năng (likelihood) nhất định nếu, với bất kỳ dữ liệu nào, phân phối hậu nghiệm thu được thuộc cùng họ đó; phân phối hậu nghiệm được tính bằng cách cập nhật các siêu tham số (hyperparameters) của họ phân phối dưới dạng đóng (closed form).

Scope

Chủ đề này bao gồm định nghĩa về tính liên hợp, các cặp liên hợp tiêu chuẩn (Beta-Binomial, Gamma-Poisson, Normal-Normal, Normal-inverse-Gamma, Dirichlet-Multinomial), mối liên hệ với các họ phân phối mũ, và cách diễn giải các tham số tiên nghiệm như số đếm giả định (pseudo-counts) hoặc kích thước mẫu tiên nghiệm.

Core questions

• Phân phối tiên nghiệm liên hợp với hàm khả năng có nghĩa là gì?
• Những cặp liên hợp nào xuất hiện đối với các mô hình họ phân phối mũ phổ biến?
• Các siêu tham số liên hợp hoạt động như dữ liệu giả định tiên nghiệm như thế nào?
• Tại sao tính liên hợp lại xuất phát từ cấu trúc của các họ phân phối mũ?

Key concepts

• phân phối tiên nghiệm liên hợp
• Beta-Binomial
• Gamma-Poisson
• Normal-Normal
• Dirichlet-Multinomial
• họ phân phối mũ
• siêu tham số
• số đếm giả định tiên nghiệm

Key theories

Tính liên hợp của họ phân phối mũ

Diaconis và Ylvisaker đã đặc trưng hóa các phân phối tiên nghiệm liên hợp cho các hàm khả năng của họ phân phối mũ và chỉ ra rằng chúng ngụ ý các kỳ vọng hậu nghiệm tuyến tính theo các thống kê đủ (sufficient statistics).

Phân phối tiên nghiệm như dữ liệu giả định

Các siêu tham số liên hợp có thể được hiểu là số đếm và tổng của một tập dữ liệu tiên nghiệm tưởng tượng, do đó phân phối hậu nghiệm kết hợp các quan sát thực và giả định tiên nghiệm một cách cộng gộp.

Clinical relevance

Các mô hình liên hợp cung cấp các cập nhật nhanh chóng, minh bạch và được sử dụng rộng rãi để ước tính tỷ lệ và tốc độ, phân bổ ngẫu nhiên thích ứng, và làm các khối xây dựng bên trong các phân tích dựa trên lấy mẫu lớn hơn.

History

Raiffa và Schlaifer đã hệ thống hóa phân tích liên hợp cho các bài toán quyết định vào năm 1961; Diaconis và Ylvisaker đã đưa ra đặc trưng tổng quát cho các họ phân phối mũ vào năm 1979. Tính liên hợp vẫn giữ vai trò trung tâm như một thành phần trong các lược đồ tính toán hiện đại như lấy mẫu Gibbs.

Key figures

• Howard Raiffa
• Robert Schlaifer
• Persi Diaconis

Seminal works

• diaconis1979
• gelman2013

Frequently asked questions

Tại sao lại sử dụng phân phối tiên nghiệm liên hợp khi máy tính có thể xử lý bất kỳ phân phối tiên nghiệm nào?

Phân phối tiên nghiệm liên hợp cung cấp các phân phối hậu nghiệm dạng đóng chính xác, nhanh chóng và dễ diễn giải, và chúng thường đóng vai trò là các cập nhật điều kiện đầy đủ bên trong các bộ lấy mẫu Gibbs ngay cả khi mô hình tổng thể không liên hợp.