Jensen-Shannon Iraksaması
Jensen-Shannon Information Divergence · Ayrıca şöyle bilinir: JS divergence, symmetric KL divergence, JS distance
Jensen-Shannon ıraksaması, iki olasılık dağılımı arasındaki farkın simetrik bir bilgi-teorik ölçüsüdür. Jian Lin tarafından 1991'de asimetrik Kullback-Leibler ıraksamasına bir iyileştirme olarak geliştirilen bu yöntem, her iki yöndeki ıraksamaların ortalamasını alarak KL'nin yönlü sınırlamasını aşar. Sonuç, 0 (özdeş dağılımlar) ile 1 arasında değişen ve simetrik karşılaştırma görevleri için uygun olan gerçek bir metriktir (üçgen eşitsizliğini sağlar).
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
Ne zaman kullanılır
Jensen-Shannon ıraksaması, referans veya tercih yönü olmaksızın olasılık dağılımlarını simetrik olarak karşılaştırırken idealdir. Dağılımların kümelenmesinde, model benzerliğinin değerlendirilmesinde, dil derlemlerinin karşılaştırılmasında ve her iki alternatifin de eşit derecede geçerli olduğu karar verme süreçlerinde kullanın. Simetrik olması ve sıfır olasılıkları daha zarif bir şekilde işlemesi nedeniyle KL ıraksaması'ndan daha sağlamdır. Olasılık dağılımları üzerinde gerçek bir metrik gerektiren herhangi bir uygulama için uygundur.
Güçlü yönler & sınırlılıklar
- Simetrik: JS(P||Q) = JS(Q||P), her iki dağılımı da eşit şekilde ele alır
- Gerçek metrik: negatif olmama, özdeşlik, simetri ve üçgen eşitsizliğini sağlar
- Tüm olasılık dağılımları için sonludur; sonsuz ıraksamayı önler
- KL ıraksaması'na göre sıfır olasılıklara karşı daha sağlamdır
- KL ıraksaması'ndan hesaplama açısından daha maliyetlidir (iki KL değerlendirmesi gerektirir)
- JS ıraksaması'nın karekökü bir metrik verir, ancak JS'nin kendisi doğrudan bilgi kaybını ölçmez
- Bilgi-teorik terimlerle KL ıraksaması'ndan daha az yorumlanabilir
- Optimizasyon algoritmalarında KL ıraksaması'na kıyasla daha yavaş yakınsama özellikleri
SSS
Jensen-Shannon, Kullback-Leibler ıraksaması'ndan nasıl farklıdır?
KL ıraksaması asimetrik ve yönlüdür; Jensen-Shannon simetriktir. KL(P||Q) sonsuz olabilirken, JS her zaman sonludur. Jensen-Shannon, net bir referans yönü olmaksızın dağılımları karşılaştırırken kullanımı daha kolaydır, ancak KL bilgi-teorik açıdan daha yorumlanabilirdir.
Jensen-Shannon ıraksaması gerçek bir metrik midir?
Jensen-Shannon ıraksaması'nın kendisi bir ıraksamadır (negatif olmayan, P=Q ise sıfır, simetrik), ancak üçgen eşitsizliğini sağlamaz. Ancak, Jensen-Shannon ıraksaması'nın karekökü matematiksel anlamda gerçek bir metriktir.
Jensen-Shannon'u olasılık dışı vektörlerle kullanabilir miyim?
Hayır. Jensen-Shannon, geçerli olasılık dağılımları (negatif olmayan ve toplamı 1'e eşit değerler) gerektirir. Verilerinizi önce bir olasılık dağılımı oluşturmak için normalleştirin (örneğin, toplama bölerek).
Jensen-Shannon sıfır olasılıkları nasıl ele alır?
Jensen-Shannon, sıfır olasılıklara karşı KL ıraksaması'ndan daha sağlamdır. Iraksamayı hesaplamadan önce dağılımları ortalayarak, tanımsız değer riskini azaltır. Ancak, uygun normalleştirme ve uç durumların ele alınması hala önerilir.
Kaynaklar
- Lin, J. (1991). Divergence measures based on the Shannon entropy. IEEE Transactions on Information Theory, 37(1), 145-151. DOI: 10.1109/18.61115 ↗
- Cover, T. M., & Thomas, J. A. (1991). Elements of Information Theory. Wiley-Interscience. DOI: 10.1002/0471200611 ↗
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Jensen-Shannon Information Divergence. ScholarGate. https://scholargate.app/tr/decision-making/jensen-shannon-divergence
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- Hellinger MesafesiKarar verme↔ karşılaştır
- Kullback-Leibler IraksaklığıKarar verme↔ karşılaştır