Ir para o conteúdoScholarGate
BibliotecaMinha bibliotecaMesaReview StudioAssistente
Entrar
Text Deduplication/Evidência
Registro de evidência do método

Text Deduplication

Text deduplication is a corpus-quality pipeline that identifies and removes exact and near-duplicate documents from large text collections. Grounded in Andrei Broder's 1997 resemblance theory, it is widely used to improve dataset quality for machine learning model training, search engine indexing, and any downstream NLP task that assumes a non-redundant corpus.

Sources recorded, not reviewed

Registro de origem

Citações copiadas literalmente do registro de origem do método. Nenhuma verificação em nível de alegação é inferida delas.

Text Deduplication (Near-Duplicate Detection)
Registro de método taxonômico · process-pipeline / text-mining
  • Broder, A.Z. (1997). On the Resemblance and Containment of Documents. Compression and Complexity of SEQUENCES. · URL
  • Lee, K. et al. (2022). Deduplicating Training Data Makes Language Models Better. ACL 2022. · URL
Abrir método completo

Alegações curadas

Alegações persistidas no livro-razão de evidências, cada uma com sua própria avaliação.

Ainda não há alegações curadas

Esta visualização não inventa uma avaliação de alegação quando o livro-razão não a possui.

Métodos relacionados

Gerado a partir do grafo de métodos e mostrado como relações sugeridas por máquina — nenhuma alegação de evidência é inferida.

Same method familyBERT Embeddingsmachine-suggested · Relational suggestion, not evidence.Same method familySentiment Analysismachine-suggested · Relational suggestion, not evidence.Same method familyText Classificationmachine-suggested · Relational suggestion, not evidence.Same method familyTF-IDFmachine-suggested · Relational suggestion, not evidence.See alsoTopic Modelingmachine-suggested · Relational suggestion, not evidence.

Status da evidência

Sources recorded, not reviewed

Bibliographic sources are present. Claim-level evidence review has not been performed.

Fontes

2 citações registradas, copiadas do registro de origem do método.

Ações

Abrir página do método
ScholarGate

Uma biblioteca de referência centrada no conteúdo para métodos de pesquisa — o que é cada método, como funciona e de onde vem.

Dados abertos (CC-BY)

Descobrir

  • Biblioteca
  • Pesquisar métodos…
  • Navegar por área
  • Áreas
  • Jornada
  • Comparar
  • Qual método?

Referência

  • Disciplinas
  • Atlas
  • Glossário
  • Metodologia
  • Filosofia

Espaço de trabalho

  • Minha biblioteca
  • Mesa
  • Chat

Empresa

  • Sobre
  • Preços
  • Contato
  • Sugerir um método

As entradas são compiladas a partir de fontes publicadas, para fins de referência. A verificação da exatidão e da adequação de qualquer informação ao seu próprio uso é da sua responsabilidade.

© 2026 ScholarGate · Biblioteca de referência de métodos de pesquisa
  • Privacidade
  • Cookies
  • Termos
  • Eliminar conta