מודל טרנספורמר רב-לשוני
מודל טרנספורמר רב-לשוני הוא מודל שפה שאומן מראש, הבנוי על ארכיטקטורת הטרנספורמר ואומן במשותף על טקסטים מעשרות ועד למעלה ממאה שפות. מודלים כמו mBERT ו-XLM-RoBERTa לומדים ייצוגים משותפים חוצי-שפות, המאפשרים העברה באפס דוגמאות (zero-shot) או במספר מועט של דוגמאות (few-shot): מודל שעבר כוונון עדין על נתונים באנגלית יכול לרוב להיות מיושם ישירות על צרפתית, גרמנית, ערבית או סינית ללא תיוגים ספציפיים לשפה.
קראו את השיטה במלואה
התחברו עם חשבון חינמי כדי לקרוא חלק זה.
Method map
The neighbourhood of related methods — select a node to explore.
+10 more
מקורות
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, pp. 4171–4186. Association for Computational Linguistics. DOI: 10.18653/v1/N19-1423 ↗
- Conneau, A., Khandelwal, K., Goyal, N., Chaudhary, V., Wenzek, G., Guzmán, F., Grave, E., Ott, M., Zettlemoyer, L., & Stoyanov, V. (2020). Unsupervised Cross-lingual Representation Learning at Scale. Proceedings of ACL 2020, pp. 8440–8451. Association for Computational Linguistics. DOI: 10.18653/v1/2020.acl-main.747 ↗
איך לצטט עמוד זה
ScholarGate. (2026, June 3). Multilingual Transformer (Cross-lingual Pre-trained Language Model). ScholarGate. https://scholargate.app/he/deep-learning/multilingual-transformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- סיווג מבוסס BERTלמידה עמוקה↔ compare
- שיכוני משפטים רב-לשונייםלמידה עמוקה↔ compare
- סיווג מבוסס RoBERTaלמידה עמוקה↔ compare
- ייצוגי משפטים (Sentence Embeddings)למידה עמוקה↔ compare