Kullback-Leibler Divergence
Kullback-Leibler divergence, also called relative entropy or information divergence, measures the asymmetric difference between two probability distributions. Introduced by Solomon Kullback and Richard Leibler in 1951, this information-theoretic measure quantifies how one probability distribution diverges from a reference distribution, ranging from 0 (identical distributions) to infinity. It is foundational in information theory, machine learning, and decision-making with probabilistic frameworks.
Dossier source
Citations copiées telles quelles du dossier source de la méthode. Aucune vérification au niveau de la revendication n'en est déduite.
- Kullback, S., & Leibler, R. A. (1951). On information and sufficiency. Annals of Mathematical Statistics, 22(1), 79-86. · DOI 10.1214/aoms/1177729694
- Cover, T. M., & Thomas, J. A. (1991). Elements of Information Theory. Wiley-Interscience. · DOI 10.1002/0471200611
Revendications organisées
Revendications enregistrées dans le registre de preuves, chacune avec sa propre évaluation.
Cette vue n'invente pas d'évaluation de revendication lorsque le registre n'en contient aucune.
Méthodes apparentées
Généré à partir du graphe de méthodes et présenté comme des relations suggérées par la machine — aucune revendication de preuve n'est déduite.