Machine learningDeep learning / NLP / CV
マルチモーダルBERTベース分類
Multimodal BERT-based classification は、テキストと画像という最も一般的な複数のモダリティからのデータを、最終的な分類ヘッドの前にそれらの表現を融合させることによって共同でエンコードおよび分類するために、BERTトランスフォーマーアーキテクチャを拡張したものです。MMBTやViLBERTなどのモデルを通じて2019年頃に顕著に導入され、テキストまたは画像単独では正確なラベリングに十分な情報を持たないタスクの標準的なアプローチとなっています。
手法の全文を読む
会員限定
ログイン無料アカウントでログインすると、このセクションを読めます。
Method map
The neighbourhood of related methods — select a node to explore.
+8 more
出典
- Kiela, D., Bhooshan, S., Firooz, H., Perez, E., & Testuggine, D. (2019). Supervised multimodal bitransformers for classifying images and text. arXiv preprint arXiv:1909.02950. link ↗
- Lu, J., Batra, D., Parikh, D., & Lee, S. (2019). ViLBERT: Pretraining task-agnostic visiolinguistic representations for vision-and-language tasks. Advances in Neural Information Processing Systems, 32. link ↗
このページの引用方法
ScholarGate. (2026, June 3). Multimodal BERT-based Classification (Transformer Fusion of Text and Non-text Modalities). ScholarGate. https://scholargate.app/ja/deep-learning/multimodal-bert-based-classification
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
Compare side by side →