Deduplicação de Texto — Detecção de Quase-Duplicatas

A deduplicação de texto é um pipeline de qualidade de corpus que identifica e remove documentos exatos e quase-duplicados de grandes coleções de texto. Fundamentada na teoria de semelhança de Andrei Broder (1997), é amplamente utilizada para melhorar a qualidade de conjuntos de dados para treinamento de modelos de aprendizado de máquina, indexação de motores de busca e quaisquer tarefas de PLN subsequentes que assumam um corpus não redundante.