Divergenza di Kullback-Leibler
La divergenza di Kullback-Leibler, nota anche come entropia relativa o divergenza informativa, misura la differenza asimmetrica tra due distribuzioni di probabilità. Introdotta da Solomon Kullback e Richard Leibler nel 1951, questa misura teorica dell'informazione quantifica quanto una distribuzione di probabilità diverge da una distribuzione di riferimento, variando da 0 (distribuzioni identiche) a infinito. È fondamentale nella teoria dell'informazione, nell'apprendimento automatico e nel processo decisionale con quadri probabilistici.
Leggi il metodo completo
Accedi con un account gratuito per leggere questa sezione.
Method map
The neighbourhood of related methods — select a node to explore.
Fonti
- Kullback, S., & Leibler, R. A. (1951). On information and sufficiency. Annals of Mathematical Statistics, 22(1), 79-86. DOI: 10.1214/aoms/1177729694 ↗
- Cover, T. M., & Thomas, J. A. (1991). Elements of Information Theory. Wiley-Interscience. DOI: 10.1002/0471200611 ↗
Come citare questa pagina
ScholarGate. (2026, June 3). Kullback-Leibler Information Divergence. ScholarGate. https://scholargate.app/it/decision-making/kullback-leibler-divergence
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Distanza di HellingerProcesso decisionale↔ compare
- Divergenza di Jensen-ShannonProcesso decisionale↔ compare
Citato da
Hai notato un problema in questa pagina? Segnalalo o proponi una correzione →