Metin Tekilleştirme — Yakın Tekil Belge Tespiti

Jaccard benzerliği, iki küme arasındaki örtüşmeyi ölçer — bu bağlamda, iki belgenin jeton parçacıklarının kümeleri. Kesişimin boyutunun birleşimin boyutuna bölünmesiyle eşittir. Seçilen eşiğin üzerindeki Jaccard benzerliğine sahip iki belge, tama yakın tekil olarak kabul edilir. MinHash, tam jeton kümelerini karşılaştırmadan Jaccard benzerliğinin tarafsız bir tahmincisini sağlar, bu da büyük ölçekli tekilleştirmeyi uygulanabilir hale getirir.

Evrensel olarak doğru bir değer yoktur. Web metni için yaygın bir başlangıç noktası 0,5'tir (%50 jeton örtüşmesi), ancak doğru eşik derlemenize ve görevinize bağlıdır. Aday eşik değerlerindeki belge çiftlerinin bir örneğini inceleyin — bir insan yargıcının çoğaltma olarak kabul ettiği çiftler eşiğin üzerinde olmalı ve gerçekten farklı belgeler bunun altında olmalıdır. Yanlış pozitif ve yanlış negatif oranları kullanım durumunuz için kabul edilebilir olana kadar ayarlayın.

Tekilleştirme, tama yakın tekil belge kümelerini tanımlar ve küme başına bir kanonik temsilci tutar, geri kalanları atar veya etiketler. Hangi kopyanın tutulacağı — en uzun, en erken, en yüksek kaliteli — tanımladığınız çözüm politikasına bağlıdır. İşlem hattı tekilleri işaretler; tutma kararı size aittir.

Hayır. Tekilleştirme, belge bağımsızlığını varsayan herhangi bir aşağı akış NLP görevi için veri kalitesini iyileştirir — duygu analizi, konu modellemesi, bilgi alma ve derlem istatistikleri yedeksiz bir derlemden fayda sağlar. Dil modeli eğitimi için önemi Lee ve ark. (2022) tarafından vurgulanmış olsa da, sorun bu çalışmadan on yıllar öncesine dayanmaktadır.