Multimodal Vision Transformer
Multimodal Vision Transformer (Multimodal ViT) extends the Vision Transformer architecture to jointly process and align representations from multiple modalities — typically images and text — using self-attention and cross-attention mechanisms. By learning shared or aligned embedding spaces across modalities, it enables tasks such as visual question answering, image-text retrieval, visual grounding, and image captioning.
Lähdetietue
Sitaatit kopioitu sanatarkasti metodin lähdetietueesta. Niistä ei päätellä väitteiden tasoista varmennusta.
- Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T., Dehghani, M., Minderer, M., Heigold, G., Gelly, S., Uszkoreit, J., & Houlsby, N. (2021). An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. In International Conference on Learning Representations (ICLR). · URL
- Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., Sastry, G., Askell, A., Mishkin, P., Clark, J., Krueger, G., & Sutskever, I. (2021). Learning Transferable Visual Models From Natural Language Supervision. In Proceedings of the 38th International Conference on Machine Learning (ICML), PMLR 139. · URL
Kuratoituja väitteitä
Väitteet tallennettu todistusaineiston pääkirjaan, jokaisella oma arviointinsa.
Tämä näkymä ei keksi väitteen arviointia, jos pääkirjassa ei ole sitä.
Liittyvät metodit
Luotu metodigraafista ja näytetään koneen ehdottamina suhteina – väitteitä ei päätellä.