Text Normalization
Text normalization is an NLP preprocessing pipeline that converts noisy, abbreviated, or misspelled text — such as SMS messages, social-media posts, and OCR output — into a clean, standardised form. It is a prerequisite step for virtually every downstream NLP task, ensuring that inconsistent surface forms do not degrade tokenisation, parsing, or classification. The method gained systematic academic treatment through Baldwin and Li (2015) and Sproat and Jaitly (2017).
Înregistrare sursă
Citările sunt copiate integral din înregistrarea sursă a metodei. Nu se inferă nicio verificare la nivel de afirmație din acestea.
- Baldwin, T. & Li, Y. (2015). An In-depth Analysis of the Effect of Text Normalization in Twitter. NAACL-HLT 2015. · URL
- Sproat, R. & Jaitly, N. (2017). RNN Approaches to Text Normalization: A Challenge. arXiv:1611.00068. · URL
Afirmații curate
Afirmațiile sunt stocate în registrul dovezilor, fiecare cu propria evaluare.
Această vizualizare nu inventează o evaluare a afirmației dacă registrul nu conține una.
Metode conexe
Generate din graful metodelor și afișate ca relații sugerate automat — nu se inferă nicio afirmație de dovadă.