Kullback-Leibler-Divergenz

Die Kullback-Leibler-Divergenz, auch als relative Entropie oder Informationsdivergenz bezeichnet, misst den asymmetrischen Unterschied zwischen zwei Wahrscheinlichkeitsverteilungen. Diese von Solomon Kullback und Richard Leibler im Jahr 1951 eingeführte informationstheoretische Größe quantifiziert, wie stark eine Wahrscheinlichkeitsverteilung von einer Referenzverteilung abweicht, wobei der Wert von 0 (identische Verteilungen) bis unendlich reicht. Sie ist grundlegend in der Informationstheorie, im maschinellen Lernen und bei Entscheidungen mit probabilistischen Rahmenwerken.