Ưu tiên thông tin yếu và điều hòa

Các ưu tiên thông tin yếu là các ưu tiên phù hợp, được cố ý làm nhẹ, loại trừ các giá trị tham số không hợp lý và ổn định ước tính mà không áp đặt các niềm tin cơ bản mạnh mẽ.

Definition

Ưu tiên thông tin yếu là một ưu tiên phù hợp được chọn để có phạm vi rộng trên thang đo các giá trị tham số hợp lý, cung cấp đủ thông tin để điều hòa hậu nghiệm và cải thiện tính toán trong khi vẫn không cam kết về giá trị cụ thể trong phạm vi đó.

Scope

Chủ đề này bao gồm lý do cho các ưu tiên thông tin yếu so với các ưu tiên phẳng, các hiệu ứng điều hòa và co rút của chúng, các lựa chọn mặc định cho các hệ số hồi quy và các tham số tỷ lệ, và các ưu tiên gây ra sự thưa thớt như horseshoe và Bayesian Lasso.

Core questions

• Tại sao các ưu tiên thông tin yếu được ưu tiên hơn các ưu tiên phẳng hoặc không phù hợp trong thực tế?
• Các ưu tiên điều hòa ước tính và thu hẹp chúng về các giá trị hợp lý như thế nào?
• Những ưu tiên mặc định nào được khuyến nghị cho các hệ số hồi quy và các tham số phương sai?
• Các ưu tiên thưa thớt như horseshoe xử lý nhiều hệ số có khả năng bằng 0 như thế nào?

Key concepts

• ưu tiên thông tin yếu
• điều hòa
• co rút
• ưu tiên horseshoe
• Bayesian Lasso
• ưu tiên tỷ lệ
• phân tách

Key theories

Điều hòa thông qua các ưu tiên

Một ưu tiên với tỷ lệ hữu hạn sẽ phạt các ước tính cực đoan, giảm phương sai và ngăn chặn các vấn đề phân tách; nhiều ước tính khả năng tối đa được điều hòa tương ứng với các chế độ hậu nghiệm dưới các ưu tiên cụ thể.

Co rút toàn cục-cục bộ

Các ưu tiên thưa thớt như horseshoe sử dụng tỷ lệ cục bộ đuôi nặng và tỷ lệ toàn cục để các hệ số nhỏ bị co rút mạnh trong khi các tín hiệu lớn thoát khỏi sự co rút.

Clinical relevance

Các ưu tiên điều hòa ổn định các ước tính trong các vấn đề thứ nguyên cao và thưa thớt như genomics và lựa chọn dấu ấn sinh học, và chúng ngăn chặn các ước tính phân kỳ khi dữ liệu chỉ xác định các tham số một cách yếu ớt.

History

Khi tính toán Bayes trở nên thường xuyên vào những năm 2000, sự chú ý chuyển từ các ưu tiên 'không thông tin' phẳng sang các ưu tiên mặc định thông tin yếu, giúp cải thiện cả suy luận và lấy mẫu. Các ưu tiên thưa thớt, bao gồm Bayesian Lasso và ước tính horseshoe năm 2010, đã mở rộng tư duy này sang hồi quy thứ nguyên cao.

Debates

Một ưu tiên mặc định nên yếu đến mức nào?

Có một cuộc thảo luận đang diễn ra về cách thiết lập thang đo của các ưu tiên thông tin yếu để chúng điều hòa hữu ích mà không vô tình làm sai lệch các kết luận trên thang đo liên quan.

Key figures

• Andrew Gelman
• Nicholas Polson
• James Scott
• Carlos Carvalho

Seminal works

• gelman2008
• carvalho2010

Frequently asked questions

Ưu tiên thông tin yếu khác với ưu tiên không thông tin như thế nào?

Một ưu tiên không thông tin cố gắng thêm càng ít thông tin càng tốt và có thể không phù hợp, trong khi một ưu tiên thông tin yếu là phù hợp và cố ý thêm thông tin nhẹ để loại trừ các giá trị không hợp lý và ổn định phân tích.