Siirry sisältöönScholarGate
KirjastoKirjastoniTyöpöytäReview StudioAvustaja
Kirjaudu sisään
Text Deduplication/Todisteet
Metodin todisteiden tietue

Text Deduplication

Text deduplication is a corpus-quality pipeline that identifies and removes exact and near-duplicate documents from large text collections. Grounded in Andrei Broder's 1997 resemblance theory, it is widely used to improve dataset quality for machine learning model training, search engine indexing, and any downstream NLP task that assumes a non-redundant corpus.

Sources recorded, not reviewed

Lähdetietue

Sitaatit kopioitu sanatarkasti metodin lähdetietueesta. Niistä ei päätellä väitteiden tasoista varmennusta.

Text Deduplication (Near-Duplicate Detection)
Taksonominen metoditietue · process-pipeline / text-mining
  • Broder, A.Z. (1997). On the Resemblance and Containment of Documents. Compression and Complexity of SEQUENCES. · URL
  • Lee, K. et al. (2022). Deduplicating Training Data Makes Language Models Better. ACL 2022. · URL
Avaa koko metodi

Kuratoituja väitteitä

Väitteet tallennettu todistusaineiston pääkirjaan, jokaisella oma arviointinsa.

Ei vielä kuratoituja väitteitä

Tämä näkymä ei keksi väitteen arviointia, jos pääkirjassa ei ole sitä.

Liittyvät metodit

Luotu metodigraafista ja näytetään koneen ehdottamina suhteina – väitteitä ei päätellä.

Same method familyBERT Embeddingsmachine-suggested · Relational suggestion, not evidence.Same method familySentiment Analysismachine-suggested · Relational suggestion, not evidence.Same method familyText Classificationmachine-suggested · Relational suggestion, not evidence.Same method familyTF-IDFmachine-suggested · Relational suggestion, not evidence.See alsoTopic Modelingmachine-suggested · Relational suggestion, not evidence.

Todisteiden tila

Sources recorded, not reviewed

Bibliographic sources are present. Claim-level evidence review has not been performed.

Lähteet

2 tallennettua sitaattia, kopioitu metodin lähdetietueesta.

Toiminnot

Avaa metodisivu
ScholarGate

Sisältö edellä rakennettu tutkimusmenetelmien hakuteoskirjasto — mikä kukin menetelmä on, miten se toimii ja mistä se on peräisin.

Avoin data (CC-BY)

Tutustu

  • Kirjasto
  • Hae menetelmiä…
  • Selaa tieteenaloittain
  • Tieteenalat
  • Polku
  • Vertaile
  • Mikä menetelmä?

Viitteet

  • Aiheet
  • Kartasto
  • Sanasto
  • Metodologia
  • Filosofia

Työtila

  • Kirjastoni
  • Työpöytä
  • Keskustelu

Yritys

  • Tietoa
  • Hinnat
  • Yhteydenotto
  • Ehdota menetelmää

Tietueet on koottu julkaistuista lähteistä viitteeksi. Vastuu tietojen oikeellisuuden ja soveltuvuuden varmistamisesta omaan käyttöösi on sinulla.

© 2026 ScholarGate · Tutkimusmenetelmien hakuteoskirjasto
  • Tietosuoja
  • Evästeet
  • Käyttöehdot
  • Poista tili