Divergensi Kullback-Leibler

Divergensi Kullback-Leibler, juga disebut entropi relatif atau divergensi informasi, mengukur perbedaan asimetris antara dua distribusi probabilitas. Diperkenalkan oleh Solomon Kullback dan Richard Leibler pada tahun 1951, ukuran teori informasi ini mengkuantifikasi seberapa satu distribusi probabilitas menyimpang dari distribusi referensi, berkisar dari 0 (distribusi identik) hingga tak terhingga. Ini adalah dasar dalam teori informasi, pembelajaran mesin, dan pengambilan keputusan dengan kerangka kerja probabilistik.