文本规范化 — 噪声文本标准化

文本规范化是自然语言处理（NLP）预处理流程中的一个环节，它将嘈杂、缩写或拼写错误的文本（例如短信、社交媒体帖子和光学字符识别（OCR）输出）转换为干净、标准化的形式。它是几乎所有下游NLP任务的先决步骤，确保不一致的表面形式不会降低分词、解析或分类的性能。该方法通过Baldwin和Li（2015）以及Sproat和Jaitly（2017）获得了系统的学术处理。