Phân kỳ Kullback-Leibler
Phân kỳ Kullback-Leibler, còn được gọi là entropy tương đối hoặc phân kỳ thông tin, đo lường sự khác biệt bất đối xứng giữa hai phân phối xác suất. Được giới thiệu bởi Solomon Kullback và Richard Leibler vào năm 1951, thước đo lý thuyết thông tin này định lượng mức độ một phân phối xác suất sai khác so với một phân phối tham chiếu, dao động từ 0 (các phân phối giống hệt nhau) đến vô cùng. Nó là nền tảng trong lý thuyết thông tin, học máy và ra quyết định với các khuôn khổ xác suất.
Đọc toàn bộ phương pháp
Đăng nhập bằng tài khoản miễn phí để đọc phần này.
Bản đồ phương pháp
Lân cận của các phương pháp liên quan — chọn một nút để khám phá.
Nguồn tài liệu
- Kullback, S., & Leibler, R. A. (1951). On information and sufficiency. Annals of Mathematical Statistics, 22(1), 79-86. DOI: 10.1214/aoms/1177729694 ↗
- Cover, T. M., & Thomas, J. A. (1991). Elements of Information Theory. Wiley-Interscience. DOI: 10.1002/0471200611 ↗
Cách trích dẫn trang này
ScholarGate. (2026, June 3). Kullback-Leibler Information Divergence. ScholarGate. https://scholargate.app/vi/decision-making/kullback-leibler-divergence
Phương pháp nào?
Đặt phương pháp này bên cạnh những phương pháp gần gũi nhất với nó và đọc chúng song song — thư viện bày sách lên bàn; lựa chọn là của bạn.
- Khoảng cách HellingerRa quyết định↔ so sánh
- Độ lệch Jensen-ShannonRa quyết định↔ so sánh
Được tham chiếu bởi
Phát hiện lỗi trên trang này? Báo cáo hoặc đề xuất chỉnh sửa →