Tekstnormalisering — Standardisering af støjende tekst

Tekstnormalisering er en NLP-forbehandlingspipeline, der konverterer støjende, forkortet eller fejlstavet tekst — såsom SMS-beskeder, opslag på sociale medier og OCR-output — til en ren, standardiseret form. Det er et forudsætningsskridt for stort set alle efterfølgende NLP-opgaver, der sikrer, at inkonsekvente overfladeformer ikke forringer tokenisering, parsing eller klassificering. Metoden fik systematisk akademisk behandling gennem Baldwin og Li (2015) og Sproat og Jaitly (2017).