Transformer Đa phương thức
Transformer Đa phương thức mở rộng kiến trúc Transformer tiêu chuẩn để xử lý và suy luận chung trên hai hoặc nhiều phương thức đầu vào — phổ biến nhất là văn bản và hình ảnh, nhưng cũng có thể là âm thanh, video hoặc dữ liệu có cấu trúc. Các lớp chú ý chéo phương thức cho phép thông tin từ một phương thức ảnh hưởng đến biểu diễn của phương thức khác, cho phép các tác vụ như trả lời câu hỏi bằng hình ảnh, tạo chú thích ảnh và phân tích cảm xúc đa phương thức.
Đọc toàn bộ phương pháp
Đăng nhập bằng tài khoản miễn phí để đọc phần này.
Method map
The neighbourhood of related methods — select a node to explore.
+15 more
Nguồn tài liệu
- Lu, J., Batra, D., Parikh, D., & Lee, S. (2019). ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks. Advances in Neural Information Processing Systems (NeurIPS), 32. link ↗
- Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., ... & Sutskever, I. (2021). Learning Transferable Visual Models From Natural Language Supervision. Proceedings of the 38th International Conference on Machine Learning (ICML), PMLR 139. link ↗
Cách trích dẫn trang này
ScholarGate. (2026, June 3). Multimodal Transformer (Cross-Modal Attention-Based Architecture). ScholarGate. https://scholargate.app/vi/deep-learning/multimodal-transformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Phân loại dựa trên BERTHọc sâu↔ compare
- Phân loại ảnhHọc sâu↔ compare
- Phân loại dựa trên BERT đa phương thứcHọc sâu↔ compare
- Nhúng câu (Sentence Embeddings)Học sâu↔ compare
- Transformer Thị giácHọc sâu↔ compare
Được tham chiếu bởi
Phát hiện lỗi trên trang này? Báo cáo hoặc đề xuất chỉnh sửa →