カルバック・ライブラー情報量（Kullback-Leibler divergence）

カルバック・ライブラー情報量（Kullback-Leibler divergence）、または相対エントロピー（relative entropy）や情報量（information divergence）とも呼ばれるこの尺度は、2つの確率分布間の非対称な差異を測定する。1951年にソロモン・カルバック（Solomon Kullback）とリチャード・ライブラー（Richard Leibler）によって導入されたこの情報理論的尺度は、1つの確率分布が参照分布からどれだけ乖離しているかを定量化し、その値は0（同一の分布）から無限大まで変化する。これは情報理論、機械学習、および確率的枠組みを用いた意思決定において基礎的な概念である。