Multimodal Vision Transformer
Multimodal Vision Transformer (Multimodal ViT) extends the Vision Transformer architecture to jointly process and align representations from multiple modalities — typically images and text — using self-attention and cross-attention mechanisms. By learning shared or aligned embedding spaces across modalities, it enables tasks such as visual question answering, image-text retrieval, visual grounding, and image captioning.
Zdrojový záznam
Citace zkopírované doslovně ze zdrojového záznamu metody. Nejsou z nich vyvozovány žádné ověření na úrovni tvrzení.
- Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T., Dehghani, M., Minderer, M., Heigold, G., Gelly, S., Uszkoreit, J., & Houlsby, N. (2021). An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. In International Conference on Learning Representations (ICLR). · URL
- Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., Sastry, G., Askell, A., Mishkin, P., Clark, J., Krueger, G., & Sutskever, I. (2021). Learning Transferable Visual Models From Natural Language Supervision. In Proceedings of the 38th International Conference on Machine Learning (ICML), PMLR 139. · URL
Spravovaná tvrzení
Tvrzení uložená v registru důkazů, každé s vlastním hodnocením.
Tento pohled nevymýšlí hodnocení tvrzení, pokud registr žádné neobsahuje.
Související metody
Vygenerováno z grafu metod a zobrazeno jako strojově navržené vztahy – nejsou z nich vyvozována žádná tvrzení o důkazech.