Textnormalisierung — Standardisierung von verrauschten Texten

Textnormalisierung ist eine NLP-Vorverarbeitungspipeline, die verrauschte, abgekürzte oder falsch geschriebene Texte — wie SMS-Nachrichten, Social-Media-Posts und OCR-Ausgaben — in eine saubere, standardisierte Form umwandelt. Sie ist ein notwendiger Schritt für praktisch jede nachgelagerte NLP-Aufgabe und stellt sicher, dass inkonsistente Oberflächenformen die Tokenisierung, das Parsen oder die Klassifizierung nicht beeinträchtigen. Die Methode wurde systematisch durch Baldwin und Li (2015) sowie Sproat und Jaitly (2017) akademisch behandelt.