Multimodal Vision Transformer
Multimodal Vision Transformer (Multimodal ViT) extends the Vision Transformer architecture to jointly process and align representations from multiple modalities — typically images and text — using self-attention and cross-attention mechanisms. By learning shared or aligned embedding spaces across modalities, it enables tasks such as visual question answering, image-text retrieval, visual grounding, and image captioning.
Запис джерела
Цитати скопійовано дослівно з вихідного запису методу. Вони не передбачають перевірки на рівні тверджень.
- Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T., Dehghani, M., Minderer, M., Heigold, G., Gelly, S., Uszkoreit, J., & Houlsby, N. (2021). An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. In International Conference on Learning Representations (ICLR). · URL
- Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., Sastry, G., Askell, A., Mishkin, P., Clark, J., Krueger, G., & Sutskever, I. (2021). Learning Transferable Visual Models From Natural Language Supervision. In Proceedings of the 38th International Conference on Machine Learning (ICML), PMLR 139. · URL
Відібрані твердження
Твердження збережено в журналі доказів, кожне зі своєю оцінкою.
Цей перегляд не вигадує оцінку твердження, якщо в журналі її немає.
Пов'язані методи
Згенеровано з графа методів і показано як рекомендовані системою зв'язки — жодне твердження доказів не передбачається.