Text Normalization
Text normalization is an NLP preprocessing pipeline that converts noisy, abbreviated, or misspelled text — such as SMS messages, social-media posts, and OCR output — into a clean, standardised form. It is a prerequisite step for virtually every downstream NLP task, ensuring that inconsistent surface forms do not degrade tokenisation, parsing, or classification. The method gained systematic academic treatment through Baldwin and Li (2015) and Sproat and Jaitly (2017).
Kilderegister
Siteringer kopiert ordrett fra metodens kilderegister. Ingen påstandsnivåverifisering er underforstått fra dem.
- Baldwin, T. & Li, Y. (2015). An In-depth Analysis of the Effect of Text Normalization in Twitter. NAACL-HLT 2015. · URL
- Sproat, R. & Jaitly, N. (2017). RNN Approaches to Text Normalization: A Challenge. arXiv:1611.00068. · URL
Kuraterte påstander
Påstander lagret i bevishovedboken, hver med sin egen vurdering.
Denne visningen finner ikke opp en påstandsvurdering når hovedboken ikke har noen.
Relaterte metoder
Generert fra metodegrafen og vist som maskinforslåtte relasjoner – ingen bevispåstand er underforstått.