Machine learningDeep learning / NLP / CV
マルチモーダル・トランスフォーマー
マルチモーダル・トランスフォーマーは、標準的なトランスフォーマーアーキテクチャを拡張し、2つ以上の入力モダリティ（最も一般的にはテキストと画像だが、音声、ビデオ、構造化データも含む）を処理し、共同で推論するものである。クロスモーダル注意層により、一方のモダリティからの情報が他方のモダリティの表現に影響を与えることができ、視覚的質問応答、画像キャプション生成、マルチモーダル感情分析などのタスクが可能になる。
手法の全文を読む
会員限定
ログイン無料アカウントでログインすると、このセクションを読めます。
手法マップ
関連する手法の近傍 — ノードを選択して探索できます。
他 15 件
出典
- Lu, J., Batra, D., Parikh, D., & Lee, S. (2019). ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks. Advances in Neural Information Processing Systems (NeurIPS), 32. link ↗
- Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., ... & Sutskever, I. (2021). Learning Transferable Visual Models From Natural Language Supervision. Proceedings of the 38th International Conference on Machine Learning (ICML), PMLR 139. link ↗
このページの引用方法
ScholarGate. (2026, June 3). Multimodal Transformer (Cross-Modal Attention-Based Architecture). ScholarGate. https://scholargate.app/ja/deep-learning/multimodal-transformer
どの手法を選ぶ？
この手法を最も近い類縁の手法と並べ、両者を見比べてください — ライブラリは本を机の上に並べるだけ。選ぶのはあなたです。
- BERTベースの分類深層学習↔ 比較
- 画像分類深層学習↔ 比較
- マルチモーダルBERTベース分類深層学習↔ 比較
- 文埋め込み（Sentence Embeddings）深層学習↔ 比較
- ビジョントランスフォーマー深層学習↔ 比較
この手法を参照する項目
Explainable Transformerマルチモーダル畳み込みニューラルネットワークマルチモーダル拡散モデルマルチモーダルDoc2VecマルチモーダルGANマルチモーダルグラフニューラルネットワークマルチモーダルGRUマルチモーダル画像分類マルチモーダルLDAトピックモデルマルチモーダルLSTMMultimodal Multilayer Perceptronマルチモーダル固有表現認識マルチモーダル物体検出マルチモーダル質問応答Multimodal Recurrent Neural Networkマルチモーダル強化学習マルチモーダルRoBERTaベース分類マルチモーダルテキスト要約マルチモーダル・トピックモデリングマルチモーダル Word2Vec