Kullback-Leibler Divergence
Kullback-Leibler divergence, also called relative entropy or information divergence, measures the asymmetric difference between two probability distributions. Introduced by Solomon Kullback and Richard Leibler in 1951, this information-theoretic measure quantifies how one probability distribution diverges from a reference distribution, ranging from 0 (identical distributions) to infinity. It is foundational in information theory, machine learning, and decision-making with probabilistic frameworks.
Catatan sumber
Kutipan disalin apa adanya dari catatan sumber metode. Tidak ada verifikasi tingkat klaim yang disimpulkan darinya.
- Kullback, S., & Leibler, R. A. (1951). On information and sufficiency. Annals of Mathematical Statistics, 22(1), 79-86. · DOI 10.1214/aoms/1177729694
- Cover, T. M., & Thomas, J. A. (1991). Elements of Information Theory. Wiley-Interscience. · DOI 10.1002/0471200611
Klaim yang dikurasi
Klaim tersimpan dalam buku besar bukti, masing-masing dengan penilaiannya sendiri.
Tampilan ini tidak menciptakan penilaian klaim ketika buku besar tidak memilikinya.
Metode terkait
Dihasilkan dari grafik metode dan ditampilkan sebagai relasi yang disarankan mesin — tidak ada klaim bukti yang disimpulkan.