Domenski-prilagođena klasifikacija zasnovana na BERT
Доменски-адаптирана класификација заснована на BERT проширује стандардни поступак финог подешавања тако што прво наставља BERT-ово претходно тренирање са моделом маскираног језика на великом корпусу не-означених података из циљног домена, а затим фино подешава адаптирани модел на означеним примерима за циљни задатак класификације. Овај двостепени приступ премошћује јаз у речнику и дистрибуцији између BERT-овог општег корпуса за претходно тренирање и специјализованих домена као што су биомедицина, право, финансије или текстови са друштвених мрежа.
Pročitajte celu metodu
Prijavite se besplatnim nalogom da biste pročitali ovaj odeljak.
Method map
The neighbourhood of related methods — select a node to explore.
+4 more
Izvori
- Gururangan, S., Marasovic, A., Swayamdipta, S., Lo, K., Beltagy, I., Downey, D., & Smith, N. A. (2020). Don't Stop Pretraining: Adapt Language Models to Domains and Tasks. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL 2020), 8342–8360. DOI: 10.18653/v1/2020.acl-main.740 ↗
- Lee, J., Yoon, W., Kim, S., Kim, D., Kim, S., So, C. H., & Kang, J. (2020). BioBERT: a pre-trained biomedical language representation model for biomedical text mining. Bioinformatics, 36(4), 1234–1240. DOI: 10.1093/bioinformatics/btz682 ↗
Kako citirati ovu stranicu
ScholarGate. (2026, June 3). Domain-Adaptive Pre-training with BERT for Text Classification. ScholarGate. https://scholargate.app/sr/deep-learning/domain-adaptive-bert-based-classification
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- BERT-based ClassificationDuboko učenje↔ compare
- Доменски-адаптивни ТрансформерDuboko učenje↔ compare
- Fino-podešena klasifikacija zasnovana na BERT-uDuboko učenje↔ compare
- Klasifikacija zasnovana na RoBERTa modeluDuboko učenje↔ compare
- Ugrađivanje rečenicaDuboko učenje↔ compare
- Трансферно учење са класификацијом заснованом на BERT-уDuboko učenje↔ compare
Citirana u
Uočili ste grešku na ovoj stranici? Prijavite je ili predložite ispravku →