Kullback-Leiblerova divergencija
Kullback-Leiblerova divergencija, poznata i kao relativna entropija ili informacijska divergencija, meri asimetričnu razliku između dve raspodele verovatnoće. Uvedena od strane Solomona Kullbacka i Richarda Leiblera 1951. godine, ova informacijsko-teorijska mera kvantifikuje koliko se jedna raspodela verovatnoće razlikuje od referentne raspodele, u opsegu od 0 (identične raspodele) do beskonačnosti. Ona je fundamentalna u teoriji informacija, mašinskom učenju i donošenju odluka u probabilističkim okvirima.
Pročitajte celu metodu
Prijavite se besplatnim nalogom da biste pročitali ovaj odeljak.
Mapa metoda
Okruženje srodnih metoda — izaberite čvor da biste istraživali.
Izvori
- Kullback, S., & Leibler, R. A. (1951). On information and sufficiency. Annals of Mathematical Statistics, 22(1), 79-86. DOI: 10.1214/aoms/1177729694 ↗
- Cover, T. M., & Thomas, J. A. (1991). Elements of Information Theory. Wiley-Interscience. DOI: 10.1002/0471200611 ↗
Kako citirati ovu stranicu
ScholarGate. (2026, June 3). Kullback-Leibler Information Divergence. ScholarGate. https://scholargate.app/sr/decision-making/kullback-leibler-divergence
Koja metoda?
Postavite ovu metodu pored njoj najbližih srodnika i čitajte ih uporedo — biblioteka polaže knjige na sto; izbor je na vama.
- Hellingerova udaljenostDonošenje odluka↔ uporedi
- Jensen-Shannonova divergencijaDonošenje odluka↔ uporedi
Citirana u
Uočili ste grešku na ovoj stranici? Prijavite je ili predložite ispravku →