Дивергенція Кульбака-Лейблера
Дивергенція Кульбака-Лейблера, також відома як відносна ентропія або інформаційна дивергенція, вимірює асиметричну різницю між двома ймовірнісними розподілами. Запропонована Соломоном Кульбаком та Річардом Лейблером у 1951 році, ця інформаційно-теоретична міра кількісно визначає, наскільки один ймовірнісний розподіл відхиляється від референсного розподілу, приймаючи значення від 0 (ідентичні розподіли) до нескінченності. Вона є фундаментальною в теорії інформації, машинному навчанні та прийнятті рішень у ймовірнісних моделях.
Читати метод повністю
Увійдіть із безкоштовним обліковим записом, щоб прочитати цей розділ.
Карта методів
Околиця споріднених методів — виберіть вузол, щоб дослідити.
Джерела
- Kullback, S., & Leibler, R. A. (1951). On information and sufficiency. Annals of Mathematical Statistics, 22(1), 79-86. DOI: 10.1214/aoms/1177729694 ↗
- Cover, T. M., & Thomas, J. A. (1991). Elements of Information Theory. Wiley-Interscience. DOI: 10.1002/0471200611 ↗
Як цитувати цю сторінку
ScholarGate. (2026, June 3). Kullback-Leibler Information Divergence. ScholarGate. https://scholargate.app/uk/decision-making/kullback-leibler-divergence
Який метод?
Поставте цей метод поруч із його найближчими спорідненими й читайте їх пліч-о-пліч — бібліотека викладає книги на стіл; вибір за вами.
- Відстань ГеллінгераПрийняття рішень↔ порівняти
- Дивергенція Єнсена-ШеннонаПрийняття рішень↔ порівняти
Згадується в
Помітили помилку на цій сторінці? Повідомте про неї або запропонуйте виправлення →