Domein-adaptieve BERT-gebaseerde Classificatie
Domein-adaptieve BERT-gebaseerde classificatie breidt de standaard fine-tuning-pijplijn uit door eerst BERT's masked-language-model pre-training voort te zetten op een grote corpus van ongelabelde tekst uit het domein, en vervolgens het aangepaste model te fine-tunen op gelabelde voorbeelden voor de doelclassificatietaak. Deze tweestapsaanpak overbrugt de vocabulaire- en distributiekloof tussen BERT's algemene pre-training corpus en gespecialiseerde domeinen zoals biomedische teksten, juridische teksten, financiële teksten of socialemediateksten.
Lees de volledige methode
Log in met een gratis account om dit onderdeel te lezen.
Method map
The neighbourhood of related methods — select a node to explore.
+4 more
Bronnen
- Gururangan, S., Marasovic, A., Swayamdipta, S., Lo, K., Beltagy, I., Downey, D., & Smith, N. A. (2020). Don't Stop Pretraining: Adapt Language Models to Domains and Tasks. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL 2020), 8342–8360. DOI: 10.18653/v1/2020.acl-main.740 ↗
- Lee, J., Yoon, W., Kim, S., Kim, D., Kim, S., So, C. H., & Kang, J. (2020). BioBERT: a pre-trained biomedical language representation model for biomedical text mining. Bioinformatics, 36(4), 1234–1240. DOI: 10.1093/bioinformatics/btz682 ↗
Deze pagina citeren
ScholarGate. (2026, June 3). Domain-Adaptive Pre-training with BERT for Text Classification. ScholarGate. https://scholargate.app/nl/deep-learning/domain-adaptive-bert-based-classification
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- BERT-gebaseerde ClassificatieDeep learning↔ compare
- Domein-Adaptieve TransformerDeep learning↔ compare
- Fijn-afgestelde BERT-gebaseerde ClassificatieDeep learning↔ compare
- RoBERTa-gebaseerde ClassificatieDeep learning↔ compare
- Sentence EmbeddingsDeep learning↔ compare
- Transfer Learning met BERT-gebaseerde ClassificatieDeep learning↔ compare
Geciteerd door
Een fout op deze pagina gezien? Meld het of stel een correctie voor →