Aller au contenuScholarGate
BibliothèqueMa bibliothèqueBureauReview StudioAssistant
Se connecter
Text Deduplication/Preuve
Dossier de preuve de méthode

Text Deduplication

Text deduplication is a corpus-quality pipeline that identifies and removes exact and near-duplicate documents from large text collections. Grounded in Andrei Broder's 1997 resemblance theory, it is widely used to improve dataset quality for machine learning model training, search engine indexing, and any downstream NLP task that assumes a non-redundant corpus.

Sources recorded, not reviewed

Dossier source

Citations copiées telles quelles du dossier source de la méthode. Aucune vérification au niveau de la revendication n'en est déduite.

Text Deduplication (Near-Duplicate Detection)
Dossier de méthode taxonomique · process-pipeline / text-mining
  • Broder, A.Z. (1997). On the Resemblance and Containment of Documents. Compression and Complexity of SEQUENCES. · URL
  • Lee, K. et al. (2022). Deduplicating Training Data Makes Language Models Better. ACL 2022. · URL
Ouvrir la méthode complète

Revendications organisées

Revendications enregistrées dans le registre de preuves, chacune avec sa propre évaluation.

Pas encore de revendications organisées

Cette vue n'invente pas d'évaluation de revendication lorsque le registre n'en contient aucune.

Méthodes apparentées

Généré à partir du graphe de méthodes et présenté comme des relations suggérées par la machine — aucune revendication de preuve n'est déduite.

Same method familyBERT Embeddingsmachine-suggested · Relational suggestion, not evidence.Same method familySentiment Analysismachine-suggested · Relational suggestion, not evidence.Same method familyText Classificationmachine-suggested · Relational suggestion, not evidence.Same method familyTF-IDFmachine-suggested · Relational suggestion, not evidence.See alsoTopic Modelingmachine-suggested · Relational suggestion, not evidence.

Statut de la preuve

Sources recorded, not reviewed

Bibliographic sources are present. Claim-level evidence review has not been performed.

Sources

2 citations enregistrées, copiées du dossier source de la méthode.

Actions

Ouvrir la page de la méthode
ScholarGate

Une bibliothèque de référence centrée sur le contenu, dédiée aux méthodes de recherche — ce qu'est chaque méthode, comment elle fonctionne et d'où elle vient.

Données ouvertes (CC-BY)

Découvrir

  • Bibliothèque
  • Rechercher des méthodes…
  • Parcourir par domaine
  • Domaines
  • Cheminement
  • Comparer
  • Quelle méthode ?

Référence

  • Disciplines
  • Atlas
  • Glossaire
  • Méthodologie
  • Philosophie

Espace de travail

  • Ma bibliothèque
  • Bureau
  • Chat

Entreprise

  • À propos
  • Tarifs
  • Contact
  • Proposer une méthode

Les entrées sont compilées à partir de sources publiées à titre de référence. Il vous appartient de vérifier l'exactitude et l'adéquation de toute information à votre propre usage.

© 2026 ScholarGate · Bibliothèque de référence des méthodes de recherche
  • Confidentialité
  • Cookies
  • Conditions
  • Supprimer le compte