Divergens Kullback-Leibler

Divergens Kullback-Leibler, juga dikenali sebagai entropi relatif atau divergens maklumat, mengukur perbezaan asimetri antara dua taburan kebarangkalian. Diperkenalkan oleh Solomon Kullback dan Richard Leibler pada tahun 1951, ukuran teori maklumat ini mengkuantifikasi sejauh mana satu taburan kebarangkalian berbeza daripada taburan rujukan, dari 0 (taburan yang sama) hingga tak terhingga. Ia adalah asas dalam teori maklumat, pembelajaran mesin, dan pembuatan keputusan dengan rangka kerja kebarangkalian.