Divergência de Kullback-Leibler

A divergência de Kullback-Leibler, também chamada de entropia relativa ou divergência de informação, mede a diferença assimétrica entre duas distribuições de probabilidade. Introduzida por Solomon Kullback e Richard Leibler em 1951, esta medida de teoria da informação quantifica o quão uma distribuição de probabilidade diverge de uma distribuição de referência, variando de 0 (distribuições idênticas) a infinito. É fundamental na teoria da informação, aprendizado de máquina e tomada de decisão com quadros probabilísticos.