Tekstnormalisering – Standardisering av støyende tekst

Tekstnormalisering er en forbehandlingsprosess i NLP som konverterer støyende, forkortet eller feilstavet tekst – som SMS-meldinger, innlegg i sosiale medier og OCR-utdata – til en ren, standardisert form. Det er et nødvendig trinn for nesten alle etterfølgende NLP-oppgaver, da det sikrer at inkonsekvente overflateformer ikke forringer tokenisering, parsing eller klassifisering. Metoden fikk systematisk akademisk behandling gjennom Baldwin og Li (2015) og Sproat og Jaitly (2017).