סיווג מבוסס RoBERTa אדפטיבי-תחום
סיווג מבוסס RoBERTa אדפטיבי-תחום מרחיב את טרנספורמר ה-RoBERTa על ידי המשך אימון מוקדם של מודל השפה המסוך (masked-language-model) על קורפוס ספציפי לתחום, לפני כוונון עדין למשימת סיווג. התאמה דו-שלבית זו מגשרת על הפער בין נתוני אימון כלליים שנאספו מהאינטרנט לבין תחומים מיוחדים כגון טקסט ביו-רפואי, משפטי או מדעי, ומשיגה באופן עקבי ביצועים טובים יותר מכוונון עדין סטנדרטי של RoBERTa כאשר קיים טקסט מהתחום היעד.
קראו את השיטה במלואה
התחברו עם חשבון חינמי כדי לקרוא חלק זה.
Method map
The neighbourhood of related methods — select a node to explore.
מקורות
- Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692. link ↗
- Gururangan, S., Marasovic, A., Swayamdipta, S., Lo, K., Beltagy, I., Downey, D., & Smith, N. A. (2020). Don't Stop Pretraining: Adapt Language Models to Domains and Tasks. In Proceedings of ACL 2020, pp. 8342–8360. DOI: 10.18653/v1/2020.acl-main.740 ↗
איך לצטט עמוד זה
ScholarGate. (2026, June 3). Domain-Adaptive RoBERTa-based Text Classification. ScholarGate. https://scholargate.app/he/deep-learning/domain-adaptive-roberta-based-classification
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- סיווג מבוסס BERTלמידה עמוקה↔ compare
- סיווג מבוסס BERT אדפטיבי לתחוםלמידה עמוקה↔ compare
- סיווג מבוסס RoBERTa מכוונן עדיןלמידה עמוקה↔ compare
- סיווג מבוסס RoBERTa רב-לשונילמידה עמוקה↔ compare
- סיווג מבוסס RoBERTaלמידה עמוקה↔ compare