Багатомовний трансформер
Багатомовний трансформер — це попередньо навчена мовна модель, побудована на архітектурі трансформера та навчена спільно на текстах десятків або понад сотні мов. Такі моделі, як mBERT та XLM-RoBERTa, вивчають спільні міжмовні представлення, що забезпечує перенесення знань у режимі нульового (zero-shot) або кількох прикладів (few-shot): модель, донавчена на англійських даних, часто може бути застосована безпосередньо до французької, німецької, арабської чи китайської мов без специфічних для мови міток.
Читати метод повністю
Увійдіть із безкоштовним обліковим записом, щоб прочитати цей розділ.
Method map
The neighbourhood of related methods — select a node to explore.
+10 more
Джерела
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, pp. 4171–4186. Association for Computational Linguistics. DOI: 10.18653/v1/N19-1423 ↗
- Conneau, A., Khandelwal, K., Goyal, N., Chaudhary, V., Wenzek, G., Guzmán, F., Grave, E., Ott, M., Zettlemoyer, L., & Stoyanov, V. (2020). Unsupervised Cross-lingual Representation Learning at Scale. Proceedings of ACL 2020, pp. 8440–8451. Association for Computational Linguistics. DOI: 10.18653/v1/2020.acl-main.747 ↗
Як цитувати цю сторінку
ScholarGate. (2026, June 3). Multilingual Transformer (Cross-lingual Pre-trained Language Model). ScholarGate. https://scholargate.app/uk/deep-learning/multilingual-transformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Класифікація на основі BERTГлибоке навчання↔ compare
- Багатомовні векторні представлення реченьГлибоке навчання↔ compare
- Класифікація на основі RoBERTaГлибоке навчання↔ compare
- Векторні представлення реченьГлибоке навчання↔ compare
Згадується в
Помітили помилку на цій сторінці? Повідомте про неї або запропонуйте виправлення →