Mô hình quá trình Gauss

Một quá trình Gauss đặt một phân phối tiên nghiệm trực tiếp lên các hàm, cho phép thực hiện hồi quy và phân loại phi tham số với độ bất định đã hiệu chỉnh.

Definition

Một quá trình Gauss là một phân phối trên các hàm sao cho các giá trị tại bất kỳ tập hợp hữu hạn nào của các đầu vào tuân theo một phân phối chuẩn đa biến được xác định bởi một hàm trung bình và một hạt nhân hiệp phương sai; điều kiện hóa trên dữ liệu quan sát cho ra một phân phối hậu nghiệm trên các hàm được sử dụng để dự đoán.

Scope

Chủ đề này bao gồm định nghĩa về quá trình Gauss thông qua các hàm trung bình và hiệp phương sai (hạt nhân) của nó, phân phối hậu nghiệm dạng đóng cho hồi quy, vai trò của việc lựa chọn hạt nhân và siêu tham số trong việc mã hóa độ trơn, phân loại thông qua các quá trình Gauss tiềm ẩn, và chi phí tính toán đối với các tập dữ liệu lớn.

Core questions

• Một hạt nhân hiệp phương sai định nghĩa một phân phối tiên nghiệm trên các hàm như thế nào?
• Phân phối hậu nghiệm hồi quy quá trình Gauss được tính toán dưới dạng đóng như thế nào?
• Các siêu tham số hạt nhân kiểm soát độ trơn và thang đo độ dài như thế nào?
• Điều gì khiến suy luận quá trình Gauss chính xác trở nên tốn kém đối với các tập dữ liệu lớn?

Key concepts

• hạt nhân hiệp phương sai
• hàm trung bình
• thang đo độ dài
• hồi quy quá trình Gauss
• quá trình Gauss tiềm ẩn
• khả năng xảy ra biên
• khả năng mở rộng

Key theories

Phân phối tiên nghiệm không gian hàm

Việc chỉ định các hàm trung bình và hiệp phương sai định nghĩa một phân phối tiên nghiệm nhất quán trên các hàm; đối với các khả năng xảy ra Gauss, trung bình và phương sai hậu nghiệm có dạng đóng được cho bởi ma trận hạt nhân.

Giới hạn mạng nơ-ron

Neal đã chỉ ra rằng một mạng nơ-ron một lớp với vô số đơn vị ẩn và các phân phối tiên nghiệm phù hợp hội tụ về một quá trình Gauss, liên kết các mạng nơ-ron Bayes với các phân phối tiên nghiệm quá trình Gauss.

Clinical relevance

Các quá trình Gauss cung cấp hồi quy linh hoạt với độ bất định cho thống kê không gian, mô phỏng mô hình máy tính, nội suy chuỗi thời gian và tối ưu hóa Bayes trong các ngành khoa học và kỹ thuật.

History

Hồi quy quá trình Gauss có nguồn gốc từ kriging trong địa thống kê và trong công trình của O'Hagan về khớp đường cong. Mối liên hệ của Neal năm 1996 với mạng nơ-ron và chuyên khảo năm 2006 của Rasmussen và Williams đã thiết lập các quá trình Gauss như một công cụ học máy và Bayes phi tham số trung tâm.

Debates

Mở rộng sang dữ liệu lớn

Chi phí suy luận chính xác tăng theo cấp ba với số lượng quan sát, vì vậy nhiều nghiên cứu tập trung vào các phương pháp thưa thớt và xấp xỉ nhằm đánh đổi độ chính xác để đạt được khả năng mở rộng.

Key figures

• Carl Edward Rasmussen
• Christopher Williams
• Radford Neal
• Anthony O'Hagan

Seminal works

• rasmussen2006
• neal1996

Frequently asked questions

Hạt nhân trong quá trình Gauss có tác dụng gì?

Hạt nhân thiết lập hiệp phương sai giữa các giá trị hàm tại các đầu vào khác nhau, mã hóa các giả định như độ trơn và thang đo độ dài đặc trưng; việc lựa chọn và các siêu tham số của nó phần lớn xác định hình dạng và tính linh hoạt của hàm được suy luận.