Kullback-Leibler-divergens
Kullback-Leibler-divergens, også kalt relativ entropi eller informasjonsdivergens, måler den asymmetriske forskjellen mellom to sannsynlighetsfordelinger. Denne informasjonsteoretiske målsettingen, introdusert av Solomon Kullback og Richard Leibler i 1951, kvantifiserer hvor mye én sannsynlighetsfordeling avviker fra en referansefordeling, fra 0 (identiske fordelinger) til uendelig. Den er fundamental innen informasjonsteori, maskinlæring og beslutningstaking med sannsynlighetsbaserte rammeverk.
Les hele metoden
Logg inn med en gratis konto for å lese denne delen.
Metodekart
Nabolaget av beslektede metoder — velg en node for å utforske.
Kilder
- Kullback, S., & Leibler, R. A. (1951). On information and sufficiency. Annals of Mathematical Statistics, 22(1), 79-86. DOI: 10.1214/aoms/1177729694 ↗
- Cover, T. M., & Thomas, J. A. (1991). Elements of Information Theory. Wiley-Interscience. DOI: 10.1002/0471200611 ↗
Slik siterer du denne siden
ScholarGate. (2026, June 3). Kullback-Leibler Information Divergence. ScholarGate. https://scholargate.app/no/decision-making/kullback-leibler-divergence
Hvilken metode?
Sett denne metoden ved siden av sin nærmeste slektning og les dem side om side — biblioteket legger bøkene på bordet; valget er ditt.
- Hellinger-avstandBeslutningstaking↔ sammenlign
- Jensen-Shannon-divergensBeslutningstaking↔ sammenlign
Referert av
Funnet en feil på denne siden? Rapporter eller foreslå en rettelse →