MCDMInformation-theoretic divergence

Дивергенция Йенсена-Шеннона

Дивергенция Йенсена-Шеннона — это симметричная информационно-теоретическая мера различия между двумя распределениями вероятностей. Разработанная Цзянь Линем в 1991 году как усовершенствование асимметричной дивергенции Кульбака-Лейблера, она преодолевает ограничение KL, связанное с направленностью, усредняя дивергенции в обоих направлениях. Результатом является истинная метрика (удовлетворяющая неравенству треугольника), которая варьируется от 0 (идентичные распределения) до 1, что делает ее подходящей для задач симметричного сравнения.

Применить в DecisionMindСкороApply, compare, get guidance

Tools & resources

Скачать слайды

Learn & explore

ВидеоСкоро

Читать метод полностью

Только для участников

Войдите с бесплатным аккаунтом, чтобы прочитать этот раздел.

Войти

Карта метода

Окружение родственных методов — выберите узел, чтобы перейти к нему.

Дивергенция Йенсена-Шеннона

Расстояние Хеллингера Дивергенция Кульбака-Лей…

Источники

Lin, J. (1991). Divergence measures based on the Shannon entropy. IEEE Transactions on Information Theory, 37(1), 145-151. DOI: 10.1109/18.61115 ↗
Cover, T. M., & Thomas, J. A. (1991). Elements of Information Theory. Wiley-Interscience. DOI: 10.1002/0471200611 ↗