Text Normalization
Text normalization is an NLP preprocessing pipeline that converts noisy, abbreviated, or misspelled text — such as SMS messages, social-media posts, and OCR output — into a clean, standardised form. It is a prerequisite step for virtually every downstream NLP task, ensuring that inconsistent surface forms do not degrade tokenisation, parsing, or classification. The method gained systematic academic treatment through Baldwin and Li (2015) and Sproat and Jaitly (2017).
Hồ sơ nguồn
Các trích dẫn được sao chép nguyên văn từ hồ sơ nguồn của phương pháp. Không có xác minh cấp độ yêu cầu nào được suy ra từ chúng.
- Baldwin, T. & Li, Y. (2015). An In-depth Analysis of the Effect of Text Normalization in Twitter. NAACL-HLT 2015. · URL
- Sproat, R. & Jaitly, N. (2017). RNN Approaches to Text Normalization: A Challenge. arXiv:1611.00068. · URL
Các yêu cầu được tuyển chọn
Các yêu cầu được lưu trữ trong sổ cái bằng chứng, mỗi yêu cầu có đánh giá riêng.
Chế độ xem này không tạo ra đánh giá yêu cầu khi sổ cái không có.
Các phương pháp liên quan
Được tạo từ biểu đồ phương pháp và hiển thị dưới dạng các mối quan hệ được đề xuất bởi máy — không có yêu cầu bằng chứng nào được suy ra.