Domæne-adaptiv BERT-baseret klassifikation
Domæne-adaptiv BERT-baseret klassifikation udvider den standardiserede finjusteringspipeline ved først at fortsætte BERT's maskerede sprogmodel-prætræning på et stort korpus af umærkede tekster inden for domænet, og derefter finjustere den tilpassede model på mærkede eksempler til den pågældende klassifikationsopgave. Denne to-trins tilgang lukker vokabularet og den distributionelle kløft mellem BERT's generelle prætræningskorpus og specialiserede domæner som biomedicin, jura, finans eller tekster fra sociale medier.
Læs hele metoden
Log ind med en gratis konto for at læse dette afsnit.
Method map
The neighbourhood of related methods — select a node to explore.
+4 more
Kilder
- Gururangan, S., Marasovic, A., Swayamdipta, S., Lo, K., Beltagy, I., Downey, D., & Smith, N. A. (2020). Don't Stop Pretraining: Adapt Language Models to Domains and Tasks. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL 2020), 8342–8360. DOI: 10.18653/v1/2020.acl-main.740 ↗
- Lee, J., Yoon, W., Kim, S., Kim, D., Kim, S., So, C. H., & Kang, J. (2020). BioBERT: a pre-trained biomedical language representation model for biomedical text mining. Bioinformatics, 36(4), 1234–1240. DOI: 10.1093/bioinformatics/btz682 ↗
Sådan citerer du denne side
ScholarGate. (2026, June 3). Domain-Adaptive Pre-training with BERT for Text Classification. ScholarGate. https://scholargate.app/da/deep-learning/domain-adaptive-bert-based-classification
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- BERT-baseret klassifikationDyb læring↔ compare
- Domæne-adaptiv TransformerDyb læring↔ compare
- Finjusteret BERT-baseret klassifikationDyb læring↔ compare
- RoBERTa-baseret KlassifikationDyb læring↔ compare
- SætningsindlejringerDyb læring↔ compare
- Transfer Learning med BERT-baseret KlassifikationDyb læring↔ compare
Refereret af
Har du fundet en fejl på denne side? Indberet den eller foreslå en rettelse →