Liigu sisuleScholarGate
RaamatukoguMinu raamatukoguTöölaudReview StudioAssistent
Logi sisse
Text Deduplication/Tõendid
Meetodi tõendite kirje

Text Deduplication

Text deduplication is a corpus-quality pipeline that identifies and removes exact and near-duplicate documents from large text collections. Grounded in Andrei Broder's 1997 resemblance theory, it is widely used to improve dataset quality for machine learning model training, search engine indexing, and any downstream NLP task that assumes a non-redundant corpus.

Sources recorded, not reviewed

Allikakirje

Tsiteeringud kopeeritud meetodi allikakirjest sõna-sõnalt. Nendest ei saa järeldada väidete tasemel kinnitust.

Text Deduplication (Near-Duplicate Detection)
Taksonoomiline meetodikirje · process-pipeline / text-mining
  • Broder, A.Z. (1997). On the Resemblance and Containment of Documents. Compression and Complexity of SEQUENCES. · URL
  • Lee, K. et al. (2022). Deduplicating Training Data Makes Language Models Better. ACL 2022. · URL
Ava täielik meetod

Kureeritud väited

Väited on salvestatud tõendite registrisse, igal oma hinnanguga.

Kureeritud väiteid veel pole

See vaade ei loo väite hinnangut, kui registris seda pole.

Seotud meetodid

Genereeritud meetodigraafist ja kuvatud masina soovitatud seostena – väiteid ei järeldata.

Same method familyBERT Embeddingsmachine-suggested · Relational suggestion, not evidence.Same method familySentiment Analysismachine-suggested · Relational suggestion, not evidence.Same method familyText Classificationmachine-suggested · Relational suggestion, not evidence.Same method familyTF-IDFmachine-suggested · Relational suggestion, not evidence.See alsoTopic Modelingmachine-suggested · Relational suggestion, not evidence.

Tõendite olek

Sources recorded, not reviewed

Bibliographic sources are present. Claim-level evidence review has not been performed.

Allikad

2 salvestatud tsiteeringut, kopeeritud meetodi allikakirjest.

Toimingud

Ava meetodi leht
ScholarGate

Sisukeskne teatmekogu uurimismeetoditest — mis iga meetod on, kuidas see töötab ja kust see pärineb.

Avaandmed (CC-BY)

Avasta

  • Raamatukogu
  • Otsi meetodeid…
  • Sirvi valdkonna järgi
  • Valdkonnad
  • Teekond
  • Võrdle
  • Milline meetod?

Viited

  • Valdkonnad
  • Atlas
  • Sõnastik
  • Metoodika
  • Filosoofia

Tööruum

  • Minu raamatukogu
  • Töölaud
  • Vestlus

Ettevõte

  • Meist
  • Hinnad
  • Kontakt
  • Soovita meetodit

Kirjed on koostatud avaldatud allikate põhjal viiteotstarbel. Teabe õigsuse ja sobivuse kontrollimine teie enda kasutuse jaoks jääb teie vastutusele.

© 2026 ScholarGate · Uurimismeetodite teatmekogu
  • Privaatsus
  • Küpsised
  • Tingimused
Kustuta konto