Divergence de Kullback-Leibler

La divergence de Kullback-Leibler, également appelée entropie relative ou divergence d'information, mesure la différence asymétrique entre deux distributions de probabilité. Introduite par Solomon Kullback et Richard Leibler en 1951, cette mesure d'information quantifie à quel point une distribution de probabilité diverge d'une distribution de référence, allant de 0 (distributions identiques) à l'infini. Elle est fondamentale en théorie de l'information, en apprentissage automatique et en prise de décision dans des cadres probabilistes.