סיווג מבוסס BERT אדפטיבי לתחום
סיווג מבוסס BERT אדפטיבי לתחום מרחיב את צינור ה-fine-tuning הסטנדרטי בכך שהוא ממשיך תחילה את האימון המוקדם של BERT במודל שפה ממוסך (masked-language-model) על קורפוס גדול של טקסט לא מתויג מהתחום הספציפי, ואז מבצע fine-tuning למודל המותאם על דוגמאות מתויגות עבור משימת הסיווג הרצויה. גישה דו-שלבית זו מגשרת על פער אוצר המילים וההתפלגותיות בין קורפוס האימון המוקדם הכללי של BERT לבין תחומים מיוחדים כגון ביו-רפואה, משפטים, פיננסים או טקסטים מרשתות חברתיות.
קראו את השיטה במלואה
התחברו עם חשבון חינמי כדי לקרוא חלק זה.
Method map
The neighbourhood of related methods — select a node to explore.
+4 more
מקורות
- Gururangan, S., Marasovic, A., Swayamdipta, S., Lo, K., Beltagy, I., Downey, D., & Smith, N. A. (2020). Don't Stop Pretraining: Adapt Language Models to Domains and Tasks. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL 2020), 8342–8360. DOI: 10.18653/v1/2020.acl-main.740 ↗
- Lee, J., Yoon, W., Kim, S., Kim, D., Kim, S., So, C. H., & Kang, J. (2020). BioBERT: a pre-trained biomedical language representation model for biomedical text mining. Bioinformatics, 36(4), 1234–1240. DOI: 10.1093/bioinformatics/btz682 ↗
איך לצטט עמוד זה
ScholarGate. (2026, June 3). Domain-Adaptive Pre-training with BERT for Text Classification. ScholarGate. https://scholargate.app/he/deep-learning/domain-adaptive-bert-based-classification
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- סיווג מבוסס BERTלמידה עמוקה↔ compare
- טרנספורמר מותאם-תחוםלמידה עמוקה↔ compare
- סיווג מבוסס BERT מכוונן עדיןלמידה עמוקה↔ compare
- סיווג מבוסס RoBERTaלמידה עמוקה↔ compare
- ייצוגי משפטים (Sentence Embeddings)למידה עמוקה↔ compare
- למידת העברה עם סיווג מבוסס BERTלמידה עמוקה↔ compare