Deduplicación de texto — Detección de cuasi-duplicados

La deduplicación de texto es un proceso de calidad de corpus que identifica y elimina documentos exactos y cuasi-duplicados de grandes colecciones de texto. Basada en la teoría de la semejanza de Andrei Broder de 1997, se utiliza ampliamente para mejorar la calidad de los conjuntos de datos para el entrenamiento de modelos de aprendizaje automático, la indexación de motores de búsqueda y cualquier tarea de Procesamiento del Lenguaje Natural (PLN) posterior que asuma un corpus no redundante.