Дедуплікація тексту — Виявлення близьких дублікатів

Дедуплікація тексту — це конвеєр забезпечення якості корпусу, який ідентифікує та видаляє точні та близькі дублікати документів із великих текстових колекцій. Заснована на теорії подібності Андрія Бродера (1997), вона широко використовується для покращення якості наборів даних для навчання моделей машинного навчання, індексування пошукових систем та будь-яких подальших завдань обробки природної мови (NLP), які передбачають відсутність надлишковості в корпусі.