Multimodal Transformer
A Multimodal Transformer extends the standard Transformer architecture to process and jointly reason over two or more input modalities — most commonly text and images, but also audio, video, or structured data. Cross-modal attention layers allow information from one modality to inform representations in another, enabling tasks such as visual question answering, image captioning, and multimodal sentiment analysis.
Lähdetietue
Sitaatit kopioitu sanatarkasti metodin lähdetietueesta. Niistä ei päätellä väitteiden tasoista varmennusta.
- Lu, J., Batra, D., Parikh, D., & Lee, S. (2019). ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks. Advances in Neural Information Processing Systems (NeurIPS), 32. · URL
- Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., ... & Sutskever, I. (2021). Learning Transferable Visual Models From Natural Language Supervision. Proceedings of the 38th International Conference on Machine Learning (ICML), PMLR 139. · URL
Kuratoituja väitteitä
Väitteet tallennettu todistusaineiston pääkirjaan, jokaisella oma arviointinsa.
Tämä näkymä ei keksi väitteen arviointia, jos pääkirjassa ei ole sitä.
Liittyvät metodit
Luotu metodigraafista ja näytetään koneen ehdottamina suhteina – väitteitä ei päätellä.