Kullback-Leibler Divergence

Kullback-Leibler divergence หรือที่เรียกว่า relative entropy หรือ information divergence เป็นการวัดความแตกต่างที่ไม่สมมาตรระหว่างการแจกแจงความน่าจะเป็นสองแบบ การวัดเชิงทฤษฎีสารสนเทศนี้ ซึ่ง Solomon Kullback และ Richard Leibler ได้นำเสนอในปี 1951 เป็นการวัดปริมาณว่าการแจกแจงความน่าจะเป็นหนึ่งเบี่ยงเบนไปจากการแจกแจงอ้างอิงอย่างไร โดยมีค่าตั้งแต่ 0 (การแจกแจงเหมือนกัน) ถึงอนันต์ เป็นพื้นฐานในทฤษฎีสารสนเทศ การเรียนรู้ของเครื่อง และการตัดสินใจในกรอบความน่าจะเป็น