Divergencija Kullback-Leibler
Divergencija Kullback-Leibler, također nazvana relativna entropija ili informacijska divergencija, mjeri asimetričnu razliku između dviju distribucija vjerojatnosti. Uvedena od strane Solomona Kullbacka i Richarda Leiblera 1951. godine, ova mjera iz teorije informacija kvantificira kako se jedna distribucija vjerojatnosti udaljava od referentne distribucije, u rasponu od 0 (identične distribucije) do beskonačnosti. Temeljna je u teoriji informacija, strojnom učenju i donošenju odluka s probabilističkim okvirima.
Pročitajte cijelu metodu
Prijavite se besplatnim računom kako biste pročitali ovaj odjeljak.
Karta metoda
Okruženje srodnih metoda — odaberite čvor za istraživanje.
Izvori
- Kullback, S., & Leibler, R. A. (1951). On information and sufficiency. Annals of Mathematical Statistics, 22(1), 79-86. DOI: 10.1214/aoms/1177729694 ↗
- Cover, T. M., & Thomas, J. A. (1991). Elements of Information Theory. Wiley-Interscience. DOI: 10.1002/0471200611 ↗
Kako citirati ovu stranicu
ScholarGate. (2026, June 3). Kullback-Leibler Information Divergence. ScholarGate. https://scholargate.app/hr/decision-making/kullback-leibler-divergence
Koja metoda?
Postavite ovu metodu uz njoj najsrodnije i pročitajte ih jednu uz drugu — knjižnica vam knjige stavlja na stol; izbor je na vama.
- Hellingerova udaljenostDonošenje odluka↔ usporedi
- Jensen-Shannonova divergencijaDonošenje odluka↔ usporedi
Citirana u
Uočili ste pogrešku na ovoj stranici? Prijavite je ili predložite ispravak →