Нормализация текста — Стандартизация зашумленного текста

Нормализация текста — это конвейер предварительной обработки в области обработки естественного языка (NLP), который преобразует зашумленный, сокращенный или неправильно написанный текст — такой как SMS-сообщения, публикации в социальных сетях и результаты оптического распознавания символов (OCR) — в чистую, стандартизированную форму. Это предварительный этап практически для любой последующей задачи NLP, гарантирующий, что несогласованные поверхностные формы не ухудшат токенизацию, разбор или классификацию. Метод получил систематическое академическое освещение благодаря Baldwin и Li (2015) и Sproat и Jaitly (2017).