Hoppa till innehållScholarGate
BibliotekMitt bibliotekSkrivbordReview StudioAssistent
Logga in
Text Deduplication/Bevis
Metodbevispost

Text Deduplication

Text deduplication is a corpus-quality pipeline that identifies and removes exact and near-duplicate documents from large text collections. Grounded in Andrei Broder's 1997 resemblance theory, it is widely used to improve dataset quality for machine learning model training, search engine indexing, and any downstream NLP task that assumes a non-redundant corpus.

Sources recorded, not reviewed

Källpost

Citat kopierade ordagrant från metodens källpost. Ingen verifiering på källnivå härleds från dem.

Text Deduplication (Near-Duplicate Detection)
Taxonomisk metodpost · process-pipeline / text-mining
  • Broder, A.Z. (1997). On the Resemblance and Containment of Documents. Compression and Complexity of SEQUENCES. · URL
  • Lee, K. et al. (2022). Deduplicating Training Data Makes Language Models Better. ACL 2022. · URL
Öppna fullständig metod

Kuraterade påståenden

Påståenden lagrade i bevisloggen, var och en med sin egen bedömning.

Inga kuraterade påståenden ännu

Denna vy hittar inte på en påståendebedömning när loggen saknar en.

Relaterade metoder

Genererade från metodgrafen och visade som maskinföreslagna relationer – inga bevispåståenden härleds.

Same method familyBERT Embeddingsmachine-suggested · Relational suggestion, not evidence.Same method familySentiment Analysismachine-suggested · Relational suggestion, not evidence.Same method familyText Classificationmachine-suggested · Relational suggestion, not evidence.Same method familyTF-IDFmachine-suggested · Relational suggestion, not evidence.See alsoTopic Modelingmachine-suggested · Relational suggestion, not evidence.

Bevisstatus

Sources recorded, not reviewed

Bibliographic sources are present. Claim-level evidence review has not been performed.

Källor

2 registrerade citat, kopierade från metodens källpost.

Åtgärder

Öppna metodens sida
ScholarGate

Ett innehållsdrivet referensbibliotek för forskningsmetoder — vad varje metod är, hur den fungerar och varifrån den kommer.

Öppna data (CC-BY)

Upptäck

  • Bibliotek
  • Sök metoder…
  • Bläddra efter ämnesområde
  • Ämnesområden
  • Resa
  • Jämför
  • Vilken metod?

Referens

  • Ämnen
  • Atlas
  • Ordlista
  • Metodik
  • Filosofi

Arbetsyta

  • Mitt bibliotek
  • Skrivbord
  • Chatt

Företag

  • Om oss
  • Priser
  • Kontakt
  • Föreslå en metod

Posterna är sammanställda från publicerade källor för referensändamål. Att verifiera att informationen är korrekt och lämplig för din egen användning är ditt eget ansvar.

© 2026 ScholarGate · Ett referensbibliotek för forskningsmetoder
  • Integritet
  • Kakor
  • Villkor
  • Radera konto