テキスト正規化 — ノイズテキスト標準化

テキスト正規化は、SMSメッセージ、ソーシャルメディア投稿、OCR出力などのノイズが多い、省略された、またはスペルミスのあるテキストを、クリーンで標準化された形式に変換する自然言語処理（NLP）の前処理パイプラインです。これは、一貫性のない表面的な形式がトークン化、構文解析、または分類を低下させないようにすることで、事実上すべての後続のNLPタスクの前提条件となります。この手法は、BaldwinとLi（2015）、SproatとJaitly（2017）によって体系的な学術的扱いを受けるようになりました。