Дивергенция на Кулбак-Лайблер
Дивергенцията на Кулбак-Лайблер, известна още като относителна ентропия или информационна дивергенция, измерва асиметричната разлика между две вероятностни разпределения. Въведена от Соломон Кулбак и Ричард Лайблер през 1951 г., тази информационно-теоретична мярка количествено определя колко едно вероятностно разпределение се отклонява от референтно разпределение, вариращо от 0 (идентични разпределения) до безкрайност. Тя е основополагаща в теорията на информацията, машинното обучение и вземането на решения с вероятностни рамки.
Прочетете целия метод
Влезте с безплатен профил, за да прочетете този раздел.
Карта на методите
Обкръжението на сродните методи — изберете възел, за да го разгледате.
Източници
- Kullback, S., & Leibler, R. A. (1951). On information and sufficiency. Annals of Mathematical Statistics, 22(1), 79-86. DOI: 10.1214/aoms/1177729694 ↗
- Cover, T. M., & Thomas, J. A. (1991). Elements of Information Theory. Wiley-Interscience. DOI: 10.1002/0471200611 ↗
Как да цитирате тази страница
ScholarGate. (2026, June 3). Kullback-Leibler Information Divergence. ScholarGate. https://scholargate.app/bg/decision-making/kullback-leibler-divergence
Кой метод?
Поставете този метод до най-близките му сродни методи и ги четете едно до друго — библиотеката полага книгите на масата; изборът е ваш.
- Разстояние на ХелингерВземане на решения↔ сравняване
- Дивергенция на Йенсен-ШанънВземане на решения↔ сравняване
Цитиран в
Забелязахте ли проблем на тази страница? Съобщете или предложете поправка →