Metin Sıklığı Analizi — Kelime ve N-gram Sayımları

Bir derlemde tek tek kelimelerin, bitişik kelime dizilerinin (bigramlar ve trigramlar gibi n-gram'lar) ve tekrarlanan ifadelerin ne sıklıkla geçtiğini sayar, ardından bunları sıralar. Çıktı, baskın terimleri ve temaları ortaya çıkaran bir sıklık tablosudur.

Jetonlama, durdurma kelimesi kaldırma ve indirgeme olmadan, yüksek sıklıkta işlev kelimeleri ve aynı kelimenin eğik varyantları sayımları domine eder ve gerçek içeriği gizler. Tutarlı ön işleme, sıklıkların karşılaştırılabilir ve anlamlı olmasını sağlar.

Zipf yasası, az sayıda kelimenin çok sık geçtiği, çoğunun ise nadir olduğu ve uzun bir kuyruk oluşturduğu tipik deseni tanımlar. Sıralanmış sıklık listesinin şeklini açıklar ve nadir kelime kuyruğunu aşırı okumaya karşı uyarır.

Yaklaşık on belge veya daha fazla mütevazı bir derlem işe yarar, ancak derlem boyutu ve dil çeşitliliği sıklıkların ne kadar güvenilir olduğunu etkiler — daha büyük ve daha temsili derlemler daha kararlı sayımlar verir.