Multimodal Vision Transformer
Multimodal Vision Transformer (Multimodal ViT) extends the Vision Transformer architecture to jointly process and align representations from multiple modalities — typically images and text — using self-attention and cross-attention mechanisms. By learning shared or aligned embedding spaces across modalities, it enables tasks such as visual question answering, image-text retrieval, visual grounding, and image captioning.
Registro de origem
Citações copiadas literalmente do registro de origem do método. Nenhuma verificação em nível de alegação é inferida delas.
- Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T., Dehghani, M., Minderer, M., Heigold, G., Gelly, S., Uszkoreit, J., & Houlsby, N. (2021). An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. In International Conference on Learning Representations (ICLR). · URL
- Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., Sastry, G., Askell, A., Mishkin, P., Clark, J., Krueger, G., & Sutskever, I. (2021). Learning Transferable Visual Models From Natural Language Supervision. In Proceedings of the 38th International Conference on Machine Learning (ICML), PMLR 139. · URL
Alegações curadas
Alegações persistidas no livro-razão de evidências, cada uma com sua própria avaliação.
Esta visualização não inventa uma avaliação de alegação quando o livro-razão não a possui.
Métodos relacionados
Gerado a partir do grafo de métodos e mostrado como relações sugeridas por máquina — nenhuma alegação de evidência é inferida.