Мултимодален Вижън Трансформър
Мултимодалният Вижън Трансформър (Multimodal ViT) разширява архитектурата на Вижън Трансформър, за да обработва и подравнява едновременно репрезентации от множество модалности — обикновено изображения и текст — посредством механизми за самовнимание (self-attention) и кръстосано внимание (cross-attention). Чрез научаване на споделени или подравнени пространства на вграждане (embedding spaces) между модалностите, той позволява изпълнението на задачи като отговаряне на въпроси за визуално съдържание (visual question answering), извличане на информация чрез двойки изображение-текст (image-text retrieval), визуално локализиране (visual grounding) и генериране на описания към изображения (image captioning).
Прочетете целия метод
Влезте с безплатен профил, за да прочетете този раздел.
Method map
The neighbourhood of related methods — select a node to explore.
+1 more
Източници
- Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T., Dehghani, M., Minderer, M., Heigold, G., Gelly, S., Uszkoreit, J., & Houlsby, N. (2021). An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. In International Conference on Learning Representations (ICLR). link ↗
- Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., Sastry, G., Askell, A., Mishkin, P., Clark, J., Krueger, G., & Sutskever, I. (2021). Learning Transferable Visual Models From Natural Language Supervision. In Proceedings of the 38th International Conference on Machine Learning (ICML), PMLR 139. link ↗
Как да цитирате тази страница
ScholarGate. (2026, June 3). Multimodal Vision Transformer (Multimodal ViT). ScholarGate. https://scholargate.app/bg/deep-learning/multimodal-vision-transformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Класификация, базирана на BERTДълбоко обучение↔ compare
- Фино настроен Vision TransformerДълбоко обучение↔ compare
- Класификация на изображенияДълбоко обучение↔ compare
- Мултимодална класификация, базирана на BERTДълбоко обучение↔ compare
- Vision TransformerДълбоко обучение↔ compare
Цитиран в
Забелязахте ли проблем на тази страница? Съобщете или предложете поправка →