Мультимодальная классификация на основе BERT
Мультимодальная классификация на основе BERT расширяет архитектуру трансформера BERT для совместного кодирования и классификации данных из нескольких модальностей — чаще всего текста в сочетании с изображениями — путем слияния их представлений перед финальной классификационной головой. Впервые представленная примерно в 2019 году в моделях, таких как MMBT и ViLBERT, она стала стандартным подходом для задач, где ни текст, ни изображение сами по себе не несут достаточной информации для точной маркировки.
Читать метод полностью
Войдите с бесплатным аккаунтом, чтобы прочитать этот раздел.
Method map
The neighbourhood of related methods — select a node to explore.
+8 more
Источники
- Kiela, D., Bhooshan, S., Firooz, H., Perez, E., & Testuggine, D. (2019). Supervised multimodal bitransformers for classifying images and text. arXiv preprint arXiv:1909.02950. link ↗
- Lu, J., Batra, D., Parikh, D., & Lee, S. (2019). ViLBERT: Pretraining task-agnostic visiolinguistic representations for vision-and-language tasks. Advances in Neural Information Processing Systems, 32. link ↗
Как цитировать эту страницу
ScholarGate. (2026, June 3). Multimodal BERT-based Classification (Transformer Fusion of Text and Non-text Modalities). ScholarGate. https://scholargate.app/ru/deep-learning/multimodal-bert-based-classification
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- CLIPГлубокое обучение↔ compare
- Vision TransformerГлубокое обучение↔ compare
Упоминается в
Нашли ошибку на этой странице? Сообщите о ней или предложите исправление →