Vés al contingutScholarGate
BibliotecaLa meva bibliotecaEscriptoriReview StudioAssistent
Inicia la sessió
Text Deduplication/Evidència
Registre d'evidència del mètode

Text Deduplication

Text deduplication is a corpus-quality pipeline that identifies and removes exact and near-duplicate documents from large text collections. Grounded in Andrei Broder's 1997 resemblance theory, it is widely used to improve dataset quality for machine learning model training, search engine indexing, and any downstream NLP task that assumes a non-redundant corpus.

Sources recorded, not reviewed

Registre font

Les citacions es copien textualment del registre font del mètode. No s'infereix cap verificació a nivell de reclam d'elles.

Text Deduplication (Near-Duplicate Detection)
Registre de mètode taxonòmic · process-pipeline / text-mining
  • Broder, A.Z. (1997). On the Resemblance and Containment of Documents. Compression and Complexity of SEQUENCES. · URL
  • Lee, K. et al. (2022). Deduplicating Training Data Makes Language Models Better. ACL 2022. · URL
Obre el mètode complet

Reclamacions curades

Les reclamacions s'han persistit al registre de proves, cadascuna amb la seva pròpia avaluació.

Encara no hi ha reclamacions curades

Aquesta vista no inventa una avaluació de reclam quan el registre no en té cap.

Mètodes relacionats

Generat a partir del gràfic de mètodes i mostrat com a relacions suggerides per la màquina; no s'infereix cap reclamació d'evidència.

Same method familyBERT Embeddingsmachine-suggested · Relational suggestion, not evidence.Same method familySentiment Analysismachine-suggested · Relational suggestion, not evidence.Same method familyText Classificationmachine-suggested · Relational suggestion, not evidence.Same method familyTF-IDFmachine-suggested · Relational suggestion, not evidence.See alsoTopic Modelingmachine-suggested · Relational suggestion, not evidence.

Estat de l'evidència

Sources recorded, not reviewed

Bibliographic sources are present. Claim-level evidence review has not been performed.

Fonts

2 citacions registrades, copiades del registre font del mètode.

Accions

Obre la pàgina del mètode
ScholarGate

Una biblioteca de referència centrada en el contingut sobre mètodes de recerca: què és cadascun, com funciona i d'on prové.

Dades obertes (CC-BY)

Descobreix

  • Biblioteca
  • Cerca mètodes…
  • Explora per camp
  • Camps
  • Itinerari
  • Compara
  • Quin mètode?

Referència

  • Matèries
  • Atles
  • Glossari
  • Metodologia
  • Filosofia

Espai de treball

  • La meva biblioteca
  • Escriptori
  • Xat

Empresa

  • Quant a
  • Preus
  • Contacte
  • Suggereix un mètode

Les entrades es recopilen a partir de fonts publicades amb finalitat de referència. Verificar l'exactitud i la idoneïtat de qualsevol informació per al vostre propi ús és responsabilitat vostra.

© 2026 ScholarGate · Biblioteca de referència de mètodes de recerca
  • Privadesa
  • Galetes
  • Condicions
  • Suprimeix el compte