Мультимодальний Трансформер
Мультимодальний Трансформер розширює стандартну архітектуру Трансформера для обробки та спільного міркування над двома або більше вхідними модальностями — найчастіше текстом та зображеннями, але також аудіо, відео або структурованими даними. Шари міжмодальної уваги дозволяють інформації з однієї модальності впливати на представлення в іншій, уможливлюючи такі завдання, як візуальне відповіді на запитання, створення підписів до зображень та мультимодальний аналіз тональності.
Читати метод повністю
Увійдіть із безкоштовним обліковим записом, щоб прочитати цей розділ.
Method map
The neighbourhood of related methods — select a node to explore.
+15 more
Джерела
- Lu, J., Batra, D., Parikh, D., & Lee, S. (2019). ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks. Advances in Neural Information Processing Systems (NeurIPS), 32. link ↗
- Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., ... & Sutskever, I. (2021). Learning Transferable Visual Models From Natural Language Supervision. Proceedings of the 38th International Conference on Machine Learning (ICML), PMLR 139. link ↗
Як цитувати цю сторінку
ScholarGate. (2026, June 3). Multimodal Transformer (Cross-Modal Attention-Based Architecture). ScholarGate. https://scholargate.app/uk/deep-learning/multimodal-transformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Класифікація на основі BERTГлибоке навчання↔ compare
- Класифікація зображеньГлибоке навчання↔ compare
- Мультимодальна класифікація на основі BERTГлибоке навчання↔ compare
- Векторні представлення реченьГлибоке навчання↔ compare
- Трансформер для комп'ютерного зоруГлибоке навчання↔ compare
Згадується в
Помітили помилку на цій сторінці? Повідомте про неї або запропонуйте виправлення →