Анализ частоты текста — подсчет слов и n-грамм

Анализ частоты текста — это описательный метод интеллектуального анализа текстов, который подсчитывает, как часто слова, n-граммы и фразы встречаются в корпусе, чтобы выявить закономерности содержания и доминирующие темы. Он основан на представлении о распределении частот, формализованном Джорджем К. Зипфом (Zipf, 1949), согласно которому немногие термины встречаются очень часто, в то время как большинство редки; это одна из самых базовых и широко используемых точек входа в количественный анализ текста.