Process / pipeline

Teksta deduplikācija — gandrīz identisku dublikātu noteikšana

Teksta deduplikācija ir korpusa kvalitātes nodrošināšanas process, kas identificē un noņem precīzus un gandrīz identiskus dokumentus no lielām teksta kolekcijām. Balstoties uz Andreja Brodera 1997. gada līdzības teoriju, to plaši izmanto, lai uzlabotu datu kopu kvalitāti mašīnmācīšanās modeļu apmācībai, meklētājprogrammu indeksēšanai un jebkuram pakārtotam dabiskās valodas apstrādes (DVA) uzdevumam, kas pieņem neretundantu korpusu.

Atvērt MethodMindDrīzumāVideoDrīzumāDownload slides

Lasīt pilno metodes aprakstu

Tikai dalībniekiem

Piesakieties ar bezmaksas kontu, lai lasītu šo sadaļu.

Pieteikties

Method map

The neighbourhood of related methods — select a node to explore.

Teksta deduplikācija

BERT Embeddings Sentimentu analīze Tekstu klasifikācija TF-IDF Tēmu modelēšana

Avoti

Broder, A.Z. (1997). On the Resemblance and Containment of Documents. Compression and Complexity of SEQUENCES. link ↗
Lee, K. et al. (2022). Deduplicating Training Data Makes Language Models Better. ACL 2022. link ↗

Kā citēt šo lapu

ScholarGate. (2026, June 1). Text Deduplication (Near-Duplicate Detection). ScholarGate. https://scholargate.app/lv/text-mining/text-deduplication

Which method?

Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.

BERT EmbeddingsTeksta ieguve↔ compare
Sentimentu analīzeTeksta ieguve↔ compare
Tekstu klasifikācijaTeksta ieguve↔ compare
TF-IDFTeksta ieguve↔ compare
Tēmu modelēšanaDziļā mācīšanās↔ compare

Compare side by side →

Pamanījāt kļūdu šajā lapā? Ziņojiet vai ierosiniet labojumu →