Divergence Kullback-Leiblerova

Divergence Kullback-Leiblerova, nazývaná též relativní entropie nebo informační divergence, měří asymetrický rozdíl mezi dvěma pravděpodobnostními rozděleními. Tento informačně-teoretický ukazatel, zavedený Solomonem Kullbackem a Richardem Leiblerem v roce 1951, kvantifikuje, jak se jedno pravděpodobnostní rozdělení odchyluje od referenčního rozdělení, přičemž nabývá hodnot od 0 (identická rozdělení) do nekonečna. Je základní v teorii informace, strojovém učení a rozhodování s pravděpodobnostními rámci.