Vai al contenutoScholarGate
BibliotecaLa mia bibliotecaBancoReview StudioAssistente
Accedi
Text Deduplication/Evidenza
Record di evidenza del metodo

Text Deduplication

Text deduplication is a corpus-quality pipeline that identifies and removes exact and near-duplicate documents from large text collections. Grounded in Andrei Broder's 1997 resemblance theory, it is widely used to improve dataset quality for machine learning model training, search engine indexing, and any downstream NLP task that assumes a non-redundant corpus.

Sources recorded, not reviewed

Record di origine

Citazioni copiate testualmente dal record di origine del metodo. Non si inferisce alcuna verifica a livello di affermazione da esse.

Text Deduplication (Near-Duplicate Detection)
Record tassonomico del metodo · process-pipeline / text-mining
  • Broder, A.Z. (1997). On the Resemblance and Containment of Documents. Compression and Complexity of SEQUENCES. · URL
  • Lee, K. et al. (2022). Deduplicating Training Data Makes Language Models Better. ACL 2022. · URL
Apri metodo completo

Affermazioni curate

Affermazioni persistite nel registro delle evidenze, ciascuna con la propria valutazione.

Nessuna affermazione curata ancora

Questa vista non inventa una valutazione dell'affermazione quando il registro non ne ha.

Metodi correlati

Generato dal grafo dei metodi e mostrato come relazioni suggerite dalla macchina — nessuna affermazione di evidenza viene inferita.

Same method familyBERT Embeddingsmachine-suggested · Relational suggestion, not evidence.Same method familySentiment Analysismachine-suggested · Relational suggestion, not evidence.Same method familyText Classificationmachine-suggested · Relational suggestion, not evidence.Same method familyTF-IDFmachine-suggested · Relational suggestion, not evidence.See alsoTopic Modelingmachine-suggested · Relational suggestion, not evidence.

Stato evidenza

Sources recorded, not reviewed

Bibliographic sources are present. Claim-level evidence review has not been performed.

Fonti

2 citazioni registrate, copiate dal record di origine del metodo.

Azioni

Apri pagina del metodo
ScholarGate

Una biblioteca di riferimento incentrata sui contenuti, dedicata ai metodi di ricerca — che cos'è ciascun metodo, come funziona e da dove proviene.

Dati aperti (CC-BY)

Scopri

  • Biblioteca
  • Cerca metodi…
  • Sfoglia per campo
  • Campi
  • Viaggio
  • Confronta
  • Quale metodo?

Riferimento

  • Materie
  • Atlante
  • Glossario
  • Metodologia
  • Filosofia

Spazio di lavoro

  • La mia biblioteca
  • Banco
  • Chat

Azienda

  • Chi siamo
  • Prezzi
  • Contatti
  • Suggerisci un metodo

Le voci sono raccolte da fonti pubblicate a scopo di consultazione. La verifica dell'accuratezza e dell'idoneità di qualsiasi informazione per il proprio utilizzo resta responsabilità dell'utente.

© 2026 ScholarGate · Biblioteca di riferimento dei metodi di ricerca
  • Riservatezza
  • Cookie
  • Condizioni
  • Elimina account