Dywersyfikacja Kullbacka-Leiblera

Dywersyfikacja Kullbacka-Leiblera, zwana również entropią względną lub dywergencją informacyjną, mierzy asymetryczną różnicę między dwoma rozkładami prawdopodobieństwa. Wprowadzona przez Salomona Kullbacka i Richarda Leiblera w 1951 roku, ta miara teorii informacji kwantyfikuje, jak jeden rozkład prawdopodobieństwa odbiega od rozkładu referencyjnego, mieszcząc się w zakresie od 0 (identyczne rozkłady) do nieskończoności. Jest fundamentalna w teorii informacji, uczeniu maszynowym i podejmowaniu decyzji w ramach probabilistycznych.