Normalisasi Teks — Standardisasi Teks Berisik

Normalisasi teks adalah sebuah alur pra-pemrosesan NLP yang mengubah teks berisik, singkatan, atau salah ketik — seperti pesan SMS, postingan media sosial, dan keluaran OCR — menjadi bentuk yang bersih dan terstandardisasi. Ini adalah langkah prasyarat untuk hampir setiap tugas hilir NLP, memastikan bahwa bentuk permukaan yang tidak konsisten tidak menurunkan tokenisasi, penguraian, atau klasifikasi. Metode ini mendapatkan perlakuan akademis yang sistematis melalui Baldwin dan Li (2015) serta Sproat dan Jaitly (2017).