Transformer đa ngôn ngữ
Một transformer đa ngôn ngữ là một mô hình ngôn ngữ được huấn luyện trước dựa trên kiến trúc transformer và được huấn luyện đồng thời trên văn bản từ hàng chục đến hơn một trăm ngôn ngữ. Các mô hình như mBERT và XLM-RoBERTa học các biểu diễn xuyên ngôn ngữ được chia sẻ, cho phép chuyển giao không cần huấn luyện (zero-shot) hoặc ít cần huấn luyện (few-shot): một mô hình được tinh chỉnh trên dữ liệu tiếng Anh thường có thể được áp dụng trực tiếp cho tiếng Pháp, tiếng Đức, tiếng Ả Rập hoặc tiếng Trung mà không cần nhãn dành riêng cho ngôn ngữ.
Đọc toàn bộ phương pháp
Đăng nhập bằng tài khoản miễn phí để đọc phần này.
Method map
The neighbourhood of related methods — select a node to explore.
+10 more
Nguồn tài liệu
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, pp. 4171–4186. Association for Computational Linguistics. DOI: 10.18653/v1/N19-1423 ↗
- Conneau, A., Khandelwal, K., Goyal, N., Chaudhary, V., Wenzek, G., Guzmán, F., Grave, E., Ott, M., Zettlemoyer, L., & Stoyanov, V. (2020). Unsupervised Cross-lingual Representation Learning at Scale. Proceedings of ACL 2020, pp. 8440–8451. Association for Computational Linguistics. DOI: 10.18653/v1/2020.acl-main.747 ↗
Cách trích dẫn trang này
ScholarGate. (2026, June 3). Multilingual Transformer (Cross-lingual Pre-trained Language Model). ScholarGate. https://scholargate.app/vi/deep-learning/multilingual-transformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Phân loại dựa trên BERTHọc sâu↔ compare
- Nhúng câu đa ngôn ngữHọc sâu↔ compare
- Phân loại dựa trên RoBERTaHọc sâu↔ compare
- Nhúng câu (Sentence Embeddings)Học sâu↔ compare
Được tham chiếu bởi
Phát hiện lỗi trên trang này? Báo cáo hoặc đề xuất chỉnh sửa →