Domene-adaptiv BERT-basert klassifisering
Domene-adaptiv BERT-basert klassifisering utvider den standardiserte finjusteringspipelinen ved først å fortsette BERTs maskerte språkmodellerings-pretrening på et stort korpus av umerkede tekster innenfor domenet, deretter finjustere den tilpassede modellen på merkede eksempler for den aktuelle klassifiseringsoppgaven. Denne to-trinns tilnærmingen lukker vokabular- og distribusjonsgapet mellom BERTs generelle pretreningkorpus og spesialiserte domener som biomedisin, jus, finans eller sosiale medier.
Les hele metoden
Logg inn med en gratis konto for å lese denne delen.
Method map
The neighbourhood of related methods — select a node to explore.
+4 more
Kilder
- Gururangan, S., Marasovic, A., Swayamdipta, S., Lo, K., Beltagy, I., Downey, D., & Smith, N. A. (2020). Don't Stop Pretraining: Adapt Language Models to Domains and Tasks. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL 2020), 8342–8360. DOI: 10.18653/v1/2020.acl-main.740 ↗
- Lee, J., Yoon, W., Kim, S., Kim, D., Kim, S., So, C. H., & Kang, J. (2020). BioBERT: a pre-trained biomedical language representation model for biomedical text mining. Bioinformatics, 36(4), 1234–1240. DOI: 10.1093/bioinformatics/btz682 ↗
Slik siterer du denne siden
ScholarGate. (2026, June 3). Domain-Adaptive Pre-training with BERT for Text Classification. ScholarGate. https://scholargate.app/no/deep-learning/domain-adaptive-bert-based-classification
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- BERT-basert klassifiseringDyp læring↔ compare
- Domene-adaptiv TransformerDyp læring↔ compare
- Finputilpasset BERT-basert klassifiseringDyp læring↔ compare
- RoBERTa-basert klassifiseringDyp læring↔ compare
- SetningsembddingerDyp læring↔ compare
- Overføringslæring med BERT-basert klassifiseringDyp læring↔ compare
Referert av
Funnet en feil på denne siden? Rapporter eller foreslå en rettelse →