Text Deduplication — Erkennung von nahezu doppelten Texten

Text Deduplication ist eine Pipeline zur Qualitätsverbesserung von Korpora, die exakte und nahezu doppelte Dokumente aus großen Textsammlungen identifiziert und entfernt. Basierend auf Andrei Broders Resemblance Theory von 1997 wird sie häufig zur Verbesserung der Datenqualität für das Training von Machine-Learning-Modellen, für die Indizierung von Suchmaschinen und für nachgelagerte NLP-Aufgaben verwendet, die ein nicht-redundantes Korpus voraussetzen.