Kullback-Leibler Iraksaklığı
Kullback-Leibler Information Divergence · Ayrıca şöyle bilinir: KL divergence, relative entropy, information divergence
Göreceli entropi veya bilgi ıraksaklığı olarak da adlandırılan Kullback-Leibler ıraksaklığı, iki olasılık dağılımı arasındaki asimetrik farkı ölçer. Solomon Kullback ve Richard Leibler tarafından 1951'de tanıtılan bu bilgi-kuramsal ölçü, bir olasılık dağılımının referans bir dağılımdan ne kadar saptığını (0'dan (özdeş dağılımlar) sonsuza kadar değişen bir aralıkta) nicelendirir. Bilgi teorisi, makine öğrenimi ve olasılıksal çerçevelerle karar vermede temel bir yere sahiptir.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
Ne zaman kullanılır
KL ıraksaklığı, olasılık dağılımlarını karşılaştırırken, modelleri gözlemlenen verilere uydururken veya yaklaşımlardaki bilgi kaybını değerlendirirken uygundur. Makine öğreniminde (varyasyonel çıkarım, üretken modeller), bilgi teorisinde, belirsizlik altında karar vermede ve istatistiksel hipotez testinde kullanın. Pozitif, normalleştirilmiş olasılık değerleri gerektirir. Normalleştirme yapılmadan ham sayımları karşılaştırmak veya simetrik uzaklık uygulamaları için uygun değildir.
Güçlü yönler & sınırlılıklar
- Bilgi teorisine dayanır; bilgi kaybını doğrudan ölçer.
- Dağılım şekli ve kuyruk davranışındaki farklılıklara duyarlıdır.
- Makine öğreniminde, özellikle olasılıksal çıkarım ve derin öğrenmede yaygın olarak kullanılır.
- Bit veya nat cinsinden doğal bir bilgi yorumuna sahiptir.
- Asimetriktir: KL(P||Q) ≠ KL(Q||P); referans dağılım seçimi önemlidir.
- Herhangi bir sonuç için Q sıfır ve P sıfır değilse tanımsızdır (sonsuz ıraksaklık).
- Gerçek bir metrik değildir; üçgen eşitsizliğini veya simetriyi sağlamaz.
- Küçük olasılıklara duyarlıdır; nadir olaylar tarafından domine edilebilir.
SSS
KL ıraksaklığı neden asimetriktir?
KL ıraksaklığı, gerçek P iken Q'yu varsaymanın maliyetini ölçer. P ve Q'yu tersine çevirmek maliyet fonksiyonunu değiştirir: KL(P||Q) eksik kütleyi (P sıfır değil, Q sıfır) cezalandırırken, KL(Q||P) yanlış kütleyi (Q sıfır değil, P sıfır) cezalandırır. Bunlar, farklı bilgi-kuramsal senaryoları temsil ettikleri için farklı sonuçlar üretir.
KL ıraksaklığında sıfır olasılıkları nasıl ele alırım?
Eğer P'nin sıfır olmadığı yerlerde Q'nun sıfırları varsa, KL ıraksaklığı tanımsızdır (sonsuz). Tam sıfırları önlemek için bir ekleme (add-one) düzeltmesi veya sözde sayımlar kullanın. Alternatif olarak, simetrik olan ve bu durumu sorunsuz bir şekilde ele alan Jensen-Shannon ıraksaklığını kullanın.
KL ıraksaklığı ile çapraz entropi arasındaki fark nedir?
Çapraz entropi, Q için optimize edilmiş bir kod kullanarak P'den gelen olayları kodlamak için gereken ortalama bit sayısını ölçer. KL ıraksaklığı, çapraz entropi ile entropi arasındaki farktır: KL(P||Q) = H(P,Q) - H(P), burada H entropidir. KL ıraksaklığı, Q'dan kaynaklanan ekstra maliyeti izole eder.
Jensen-Shannon ıraksaklığı yerine KL ıraksaklığını ne zaman kullanmalıyım?
Net bir referans (gerçek) dağılımınız olduğunda ve yönlü bilgi kaybını ölçmek istediğinizde KL ıraksaklığını kullanın. Simetriye ihtiyacınız olduğunda, her iki dağılımı eşit şekilde ele almak istediğinizde veya üçgen eşitsizliğini sağlayan gerçek bir metriğe ihtiyacınız olduğunda Jensen-Shannon'ı kullanın.
Kaynaklar
- Kullback, S., & Leibler, R. A. (1951). On information and sufficiency. Annals of Mathematical Statistics, 22(1), 79-86. DOI: 10.1214/aoms/1177729694 ↗
- Cover, T. M., & Thomas, J. A. (1991). Elements of Information Theory. Wiley-Interscience. DOI: 10.1002/0471200611 ↗
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Kullback-Leibler Information Divergence. ScholarGate. https://scholargate.app/tr/decision-making/kullback-leibler-divergence
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- Hellinger MesafesiKarar verme↔ karşılaştır
- Jensen-Shannon IraksamasıKarar verme↔ karşılaştır