Мультимодальне відповідання на запитання
Мультимодальне доповнення запитань (Multimodal QA) — це клас методів глибокого навчання, які відповідають на запитання природною мовою, спільно аналізуючи інформацію з кількох модальностей — найчастіше тексту та зображень, але також відео, аудіо та структурованих таблиць. Вперше представлене через бенчмарк VQA у 2015 році, з того часу воно розширилося до широкої дослідницької галузі, що забезпечує розуміння документів, допомогу в медичній діагностиці та втілений штучний інтелект.
Читати метод повністю
Увійдіть із безкоштовним обліковим записом, щоб прочитати цей розділ.
Method map
The neighbourhood of related methods — select a node to explore.
Джерела
- Antol, S., Agrawal, A., Lu, J., Mitchell, M., Batra, D., Zitnick, C. L., & Parikh, D. (2015). VQA: Visual Question Answering. Proceedings of the IEEE International Conference on Computer Vision (ICCV), 2425–2433. DOI: 10.1109/ICCV.2015.279 ↗
- Xu, P., Zhu, X., & Clifton, D. A. (2023). Multimodal learning with transformers: A survey. IEEE Transactions on Pattern Analysis and Machine Intelligence, 45(10), 12113–12132. DOI: 10.1109/TPAMI.2023.3275156 ↗
Як цитувати цю сторінку
ScholarGate. (2026, June 3). Multimodal Question Answering (Cross-Modal QA). ScholarGate. https://scholargate.app/uk/deep-learning/multimodal-question-answering
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Класифікація на основі BERTГлибоке навчання↔ compare
- Мультимодальна класифікація на основі BERTГлибоке навчання↔ compare
- Мультимодальні вбудовування реченьГлибоке навчання↔ compare
- Мультимодальне узагальнення текстуГлибоке навчання↔ compare
- Мультимодальний ТрансформерГлибоке навчання↔ compare
Згадується в
Помітили помилку на цій сторінці? Повідомте про неї або запропонуйте виправлення →