Kullback-Leibler Divergence
Kullback-Leibler divergence, also called relative entropy or information divergence, measures the asymmetric difference between two probability distributions. Introduced by Solomon Kullback and Richard Leibler in 1951, this information-theoretic measure quantifies how one probability distribution diverges from a reference distribution, ranging from 0 (identical distributions) to infinity. It is foundational in information theory, machine learning, and decision-making with probabilistic frameworks.
Zapis źródłowy
Cytaty skopiowane dosłownie z zapisu źródłowego metody. Nie należy z nich wywnioskować weryfikacji na poziomie twierdzenia.
- Kullback, S., & Leibler, R. A. (1951). On information and sufficiency. Annals of Mathematical Statistics, 22(1), 79-86. · DOI 10.1214/aoms/1177729694
- Cover, T. M., & Thomas, J. A. (1991). Elements of Information Theory. Wiley-Interscience. · DOI 10.1002/0471200611
Wyselekcjonowane twierdzenia
Twierdzenia utrwalone w rejestrze dowodowym, każde z własną oceną.
Ten widok nie tworzy oceny twierdzenia, jeśli rejestr jej nie zawiera.
Powiązane metody
Wygenerowane z grafu metod i pokazane jako sugerowane przez maszynę powiązania — nie należy z nich wywnioskować twierdzenia dowodowego.