Process / pipeline

Språkgjenkjenning (LID)

Språkgjenkjenning er en oppgave innen naturlig språkbehandling som automatisk detekterer hvilket språk en tekst er skrevet på. Ved å bygge på verktøy som langid.py (Lui & Baldwin, 2012) og de effektive klassifikatorene til Joulin et al. (2017), brukes det mye til å forbehandle og filtrere flerspråklige datasett.

Åpne i MethodMindSnartVideoSnartDownload slides

Les hele metoden

Kun for medlemmer

Logg inn med en gratis konto for å lese denne delen.

Logg inn

Method map

The neighbourhood of related methods — select a node to explore.

Språkgjenkjenning (LID)

N-gram språkmodell Sentimentanalyse Korrekturlesing Tekstklassifisering Morfologisk analyse Tekstsegmentering

Kilder

Lui, M. & Baldwin, T. (2012). langid.py: An Off-the-shelf Language Identification Tool. Proceedings of the ACL 2012 System Demonstrations. link ↗
Joulin, A., Grave, E., Bojanowski, P. & Mikolov, T. (2017). Bag of Tricks for Efficient Text Classification. Proceedings of the EACL 2017. link ↗

Slik siterer du denne siden

ScholarGate. (2026, June 1). Language Identification (LID). ScholarGate. https://scholargate.app/no/text-mining/language-identification

Which method?

Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.

N-gram språkmodellTekstutvinning↔ compare
SentimentanalyseTekstutvinning↔ compare
KorrekturlesingTekstutvinning↔ compare
TekstklassifiseringTekstutvinning↔ compare

Compare side by side →

Referert av

Morfologisk analyse Tekstsegmentering

Funnet en feil på denne siden? Rapporter eller foreslå en rettelse →