Multilingual Transformer
A multilingual transformer is a pre-trained language model built on the transformer architecture and trained jointly on text from dozens to over one hundred languages. Models such as mBERT and XLM-RoBERTa learn shared cross-lingual representations, enabling zero-shot or few-shot transfer: a model fine-tuned on English data can often be applied directly to French, German, Arabic, or Chinese without language-specific labels.
Dossier source
Citations copiées telles quelles du dossier source de la méthode. Aucune vérification au niveau de la revendication n'en est déduite.
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, pp. 4171–4186. Association for Computational Linguistics. · DOI 10.18653/v1/N19-1423
- Conneau, A., Khandelwal, K., Goyal, N., Chaudhary, V., Wenzek, G., Guzmán, F., Grave, E., Ott, M., Zettlemoyer, L., & Stoyanov, V. (2020). Unsupervised Cross-lingual Representation Learning at Scale. Proceedings of ACL 2020, pp. 8440–8451. Association for Computational Linguistics. · DOI 10.18653/v1/2020.acl-main.747
Revendications organisées
Revendications enregistrées dans le registre de preuves, chacune avec sa propre évaluation.
Cette vue n'invente pas d'évaluation de revendication lorsque le registre n'en contient aucune.
Méthodes apparentées
Généré à partir du graphe de méthodes et présenté comme des relations suggérées par la machine — aucune revendication de preuve n'est déduite.