Нормализация на текст — Стандартизиране на шумни текстове

Нормализацията на текст е NLP конвейер за предварителна обработка, който преобразува шумни, съкратени или неправилно изписани текстове — като SMS съобщения, публикации в социални медии и OCR изход — в чиста, стандартизирана форма. Това е предпоставка за практически всяка последваща NLP задача, гарантирайки, че непоследователните повърхностни форми не влошават токенизацията, синтактичния анализ или класификацията. Методът получи систематично академично третиране от Baldwin и Li (2015) и Sproat и Jaitly (2017).