Divergència de Kullback-Leibler
La divergència de Kullback-Leibler, també anomenada entropia relativa o divergència d'informació, mesura la diferència asimètrica entre dues distribucions de probabilitat. Introduïda per Solomon Kullback i Richard Leibler el 1951, aquesta mesura de la teoria de la informació quantifica com una distribució de probabilitat divergeix d'una distribució de referència, amb un rang de 0 (distribucions idèntiques) a infinit. És fonamental en la teoria de la informació, l'aprenentatge automàtic i la presa de decisions amb marcs probabilístics.
Llegeix el mètode complet
Inicia la sessió amb un compte gratuït per llegir aquesta secció.
Method map
The neighbourhood of related methods — select a node to explore.
Fonts
- Kullback, S., & Leibler, R. A. (1951). On information and sufficiency. Annals of Mathematical Statistics, 22(1), 79-86. DOI: 10.1214/aoms/1177729694 ↗
- Cover, T. M., & Thomas, J. A. (1991). Elements of Information Theory. Wiley-Interscience. DOI: 10.1002/0471200611 ↗
Com citar aquesta pàgina
ScholarGate. (2026, June 3). Kullback-Leibler Information Divergence. ScholarGate. https://scholargate.app/ca/decision-making/kullback-leibler-divergence
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Distància de HellingerPresa de decisions↔ compare
- Divergència de Jensen-ShannonPresa de decisions↔ compare
Citat per
Has vist cap problema en aquesta pàgina? Informa'n o suggereix una correcció →