Text Normalization
Text normalization is an NLP preprocessing pipeline that converts noisy, abbreviated, or misspelled text — such as SMS messages, social-media posts, and OCR output — into a clean, standardised form. It is a prerequisite step for virtually every downstream NLP task, ensuring that inconsistent surface forms do not degrade tokenisation, parsing, or classification. The method gained systematic academic treatment through Baldwin and Li (2015) and Sproat and Jaitly (2017).
Regjistri burimor
Citimet kopjuar fjalë për fjalë nga regjistri burimor i metodës. Asnjë verifikim në nivel pretendimi nuk nënkuptohet prej tyre.
- Baldwin, T. & Li, Y. (2015). An In-depth Analysis of the Effect of Text Normalization in Twitter. NAACL-HLT 2015. · URL
- Sproat, R. & Jaitly, N. (2017). RNN Approaches to Text Normalization: A Challenge. arXiv:1611.00068. · URL
Pretendime të kuruaruara
Pretendimet e ruajtura në librin e dëshmive, secili me vlerësimin e vet.
Ky pamje nuk shpik një vlerësim pretendimi kur libri i dëshmive nuk ka asnjë.
Metoda të lidhura
Të gjeneruara nga grafiku metodologjik dhe të paraqitura si marrëdhënie të sugjeruara nga makina — asnjë pretendim dëshmie nuk nënkuptohet.