Divergence ya Kullback-Leibler

Divergence ya Kullback-Leibler, pia inajulikana kama entropy ya jamaa au divergence ya habari, hupima tofauti isiyo sawia kati ya usambazaji wa uwezekano wawili. Ilianzishwa na Solomon Kullback na Richard Leibler mnamo 1951, kipimo hiki cha kinadharia cha habari hupima jinsi usambazaji mmoja wa uwezekano unavyotofautiana na usambazaji wa marejeleo, kuanzia 0 (usambazaji sawa) hadi infinity. Ni msingi katika nadharia ya habari, akili bandia, na utengenezaji maamuzi wenye mifumo ya uwezekano.