Дедупликация текстов — Обнаружение близких дубликатов

Дедупликация текстов — это конвейер обеспечения качества корпуса, который идентифицирует и удаляет точные и близкие дубликаты документов из больших текстовых коллекций. Основанный на теории сходства Андрея Бродера (1997), он широко используется для улучшения качества наборов данных при обучении моделей машинного обучения, индексировании поисковых систем и любых последующих задач обработки естественного языка (NLP), которые предполагают отсутствие избыточности в корпусе.