Saltar al contenidoScholarGate
BibliotecaMi bibliotecaEscritorioReview StudioAsistente
Iniciar sesión
Text Deduplication/Evidencia
Registro de evidencia del método

Text Deduplication

Text deduplication is a corpus-quality pipeline that identifies and removes exact and near-duplicate documents from large text collections. Grounded in Andrei Broder's 1997 resemblance theory, it is widely used to improve dataset quality for machine learning model training, search engine indexing, and any downstream NLP task that assumes a non-redundant corpus.

Sources recorded, not reviewed

Registro de origen

Citas copiadas textualmente del registro de origen del método. No se infiere ninguna verificación a nivel de afirmación de ellas.

Text Deduplication (Near-Duplicate Detection)
Registro del método taxonómico · process-pipeline / text-mining
  • Broder, A.Z. (1997). On the Resemblance and Containment of Documents. Compression and Complexity of SEQUENCES. · URL
  • Lee, K. et al. (2022). Deduplicating Training Data Makes Language Models Better. ACL 2022. · URL
Abrir método completo

Afirmaciones curadas

Afirmaciones persistidas en el libro mayor de evidencia, cada una con su propia evaluación.

Aún no hay afirmaciones curadas

Esta vista no inventa una evaluación de afirmación si el libro mayor no tiene ninguna.

Métodos relacionados

Generado a partir del grafo de métodos y mostrado como relaciones sugeridas por la máquina; no se infiere ninguna afirmación de evidencia.

Same method familyBERT Embeddingsmachine-suggested · Relational suggestion, not evidence.Same method familySentiment Analysismachine-suggested · Relational suggestion, not evidence.Same method familyText Classificationmachine-suggested · Relational suggestion, not evidence.Same method familyTF-IDFmachine-suggested · Relational suggestion, not evidence.See alsoTopic Modelingmachine-suggested · Relational suggestion, not evidence.

Estado de la evidencia

Sources recorded, not reviewed

Bibliographic sources are present. Claim-level evidence review has not been performed.

Fuentes

2 citas registradas, copiadas del registro de origen del método.

Acciones

Abrir página del método
ScholarGate

Una biblioteca de referencia centrada en el contenido sobre métodos de investigación: qué es cada uno, cómo funciona y de dónde procede.

Datos abiertos (CC-BY)

Descubrir

  • Biblioteca
  • Buscar métodos…
  • Explorar por campo
  • Campos
  • Itinerario
  • Comparar
  • ¿Qué método?

Referencia

  • Materias
  • Atlas
  • Glosario
  • Metodología
  • Filosofía

Espacio de trabajo

  • Mi biblioteca
  • Escritorio
  • Chat

Empresa

  • Acerca de
  • Precios
  • Contacto
  • Sugerir un método

Las entradas se recopilan a partir de fuentes publicadas con fines de consulta. Verificar la exactitud y la idoneidad de cualquier información para su propio uso sigue siendo su responsabilidad.

© 2026 ScholarGate · Biblioteca de referencia de métodos de investigación
  • Privacidad
Cookies
  • Términos
  • Eliminar cuenta