Дивергенция Кульбака-Лейблера

Дивергенция Кульбака-Лейблера, также известная как относительная энтропия или информационная дивергенция, измеряет асимметричную разницу между двумя распределениями вероятностей. Введенная Соломоном Кульбаком и Ричардом Лейблером в 1951 году, эта информационно-теоретическая мера количественно определяет, насколько одно распределение вероятностей отклоняется от эталонного распределения, в диапазоне от 0 (идентичные распределения) до бесконечности. Она является основополагающей в теории информации, машинном обучении и принятии решений в вероятностных рамках.