Transformer Thị giác Đa phương thức
Transformer Thị giác Đa phương thức (Multimodal ViT) mở rộng kiến trúc Transformer Thị giác để xử lý và căn chỉnh đồng thời các biểu diễn từ nhiều phương thức — thường là hình ảnh và văn bản — bằng các cơ chế tự chú ý (self-attention) và chú ý chéo (cross-attention). Bằng cách học các không gian nhúng chia sẻ hoặc căn chỉnh giữa các phương thức, nó cho phép thực hiện các tác vụ như trả lời câu hỏi bằng hình ảnh, truy vấn hình ảnh-văn bản, định vị trực quan và tạo chú thích ảnh.
Đọc toàn bộ phương pháp
Đăng nhập bằng tài khoản miễn phí để đọc phần này.
Method map
The neighbourhood of related methods — select a node to explore.
+1 more
Nguồn tài liệu
- Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T., Dehghani, M., Minderer, M., Heigold, G., Gelly, S., Uszkoreit, J., & Houlsby, N. (2021). An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. In International Conference on Learning Representations (ICLR). link ↗
- Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., Sastry, G., Askell, A., Mishkin, P., Clark, J., Krueger, G., & Sutskever, I. (2021). Learning Transferable Visual Models From Natural Language Supervision. In Proceedings of the 38th International Conference on Machine Learning (ICML), PMLR 139. link ↗
Cách trích dẫn trang này
ScholarGate. (2026, June 3). Multimodal Vision Transformer (Multimodal ViT). ScholarGate. https://scholargate.app/vi/deep-learning/multimodal-vision-transformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Phân loại dựa trên BERTHọc sâu↔ compare
- Vision Transformer tinh chỉnhHọc sâu↔ compare
- Phân loại ảnhHọc sâu↔ compare
- Phân loại dựa trên BERT đa phương thứcHọc sâu↔ compare
- Transformer Thị giácHọc sâu↔ compare
Được tham chiếu bởi
Phát hiện lỗi trên trang này? Báo cáo hoặc đề xuất chỉnh sửa →