Multimodal Vision Transformer
Multimodal Vision Transformer (Multimodal ViT) extends the Vision Transformer architecture to jointly process and align representations from multiple modalities — typically images and text — using self-attention and cross-attention mechanisms. By learning shared or aligned embedding spaces across modalities, it enables tasks such as visual question answering, image-text retrieval, visual grounding, and image captioning.
Înregistrare sursă
Citările sunt copiate integral din înregistrarea sursă a metodei. Nu se inferă nicio verificare la nivel de afirmație din acestea.
- Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T., Dehghani, M., Minderer, M., Heigold, G., Gelly, S., Uszkoreit, J., & Houlsby, N. (2021). An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. In International Conference on Learning Representations (ICLR). · URL
- Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., Sastry, G., Askell, A., Mishkin, P., Clark, J., Krueger, G., & Sutskever, I. (2021). Learning Transferable Visual Models From Natural Language Supervision. In Proceedings of the 38th International Conference on Machine Learning (ICML), PMLR 139. · URL
Afirmații curate
Afirmațiile sunt stocate în registrul dovezilor, fiecare cu propria evaluare.
Această vizualizare nu inventează o evaluare a afirmației dacă registrul nu conține una.
Metode conexe
Generate din graful metodelor și afișate ca relații sugerate automat — nu se inferă nicio afirmație de dovadă.