Phân tích biệt số bậc hai

Phân tích biệt số bậc hai phân loại các quan sát thành các nhóm Gaussian đa biến được phép có các ma trận hiệp phương sai khác nhau, tạo ra các đường biên quyết định cong.

Definition

Phân tích biệt số bậc hai là một phương pháp phân loại mô hình hóa mỗi nhóm dưới dạng phân phối chuẩn đa biến với ma trận hiệp phương sai riêng và gán các quan sát bằng cách so sánh các điểm biệt số bậc hai được suy ra từ các mật độ này.

Scope

Chủ đề này bao gồm mô hình phân loại Gaussian với các ma trận hiệp phương sai đặc trưng cho từng nhóm, các hàm biệt số bậc hai thu được, sự đánh đổi về tham số so với phân tích biệt số tuyến tính, độ nhạy với các mẫu nhỏ và các phương pháp chính quy hóa nội suy giữa các quy tắc tuyến tính và bậc hai.

Core questions

• Việc nới lỏng giả định hiệp phương sai bằng nhau làm thay đổi đường biên quyết định như thế nào?
• Khi nào sự linh hoạt tăng thêm của các hiệp phương sai riêng biệt cải thiện phân loại?
• Tại sao phân tích biệt số bậc hai dễ bị quá khớp hơn trong các mẫu nhỏ?
• Làm thế nào để chính quy hóa có thể ổn định các ước tính hiệp phương sai?

Key theories

Mô hình Gaussian hiệp phương sai không bằng nhau

Khi mỗi nhóm là phân phối chuẩn đa biến với ma trận hiệp phương sai riêng, tỷ lệ logarit của các mật độ là bậc hai trong các đặc trưng, do đó đường biên tối ưu Bayes giữa các nhóm là một bề mặt bậc hai.

Sự đánh đổi thiên vị-phương sai với phân tích biệt số tuyến tính

Phân tích biệt số bậc hai ước tính một hiệp phương sai riêng cho mỗi nhóm, giảm thiên vị khi các hiệp phương sai thực sự khác nhau nhưng làm tăng phương sai, do đó nó có thể bị quy tắc tuyến tính vượt trội khi các mẫu nhỏ.

Clinical relevance

Phân tích biệt số bậc hai được áp dụng khi các nhóm có thể khác nhau về độ phân tán cũng như giá trị trung bình của chúng, đưa ra các đường biên linh hoạt hơn so với quy tắc tuyến tính trong các bài toán phân loại trong khoa học và kỹ thuật.

History

Phân biệt bậc hai xuất hiện như một phần mở rộng tự nhiên của biệt số tuyến tính Gaussian và của Fisher khi giả định về một ma trận hiệp phương sai chung bị loại bỏ, và sau đó được bổ sung bởi phân tích biệt số chính quy hóa để xử lý dữ liệu có chiều cao và mẫu nhỏ.

Debates

Đường biên tuyến tính so với đường biên bậc hai

Việc cho phép các hiệp phương sai đặc trưng cho từng nhóm có thể nắm bắt các đường biên cong thực sự nhưng làm tăng số lượng tham số ước tính, do đó lựa chọn giữa phân tích biệt số tuyến tính và bậc hai là một quyết định thiên vị-phương sai nhạy cảm với kích thước mẫu.

Key figures

• T. W. Anderson

Seminal works

• anderson2003
• hastie2009
• johnson2007

Frequently asked questions

Khi nào tôi nên sử dụng QDA thay vì LDA?

Sử dụng phân tích biệt số bậc hai khi các nhóm dường như có cấu trúc hiệp phương sai khác biệt đáng kể và mẫu đủ lớn để ước tính một ma trận hiệp phương sai riêng cho mỗi nhóm một cách đáng tin cậy.

Phân tích biệt số chính quy hóa là gì?

Đó là một sự thỏa hiệp thu nhỏ từng hiệp phương sai nhóm về một ước tính gộp, điều chỉnh một tham số nội suy mượt mà giữa phân tích biệt số bậc hai và tuyến tính.