Machine learningDeep learning / NLP / CV
マルチモーダルLSTM
マルチモーダルLSTMは、標準的なLong Short-Term Memory（LSTM）ネットワークを拡張し、テキスト、音声、ビデオなどの複数の入力モダリティからの逐次データを、統一されたリカレントアーキテクチャ内で共同で処理します。LSTMセル内またはその前で異なるソースからの表現を融合することにより、モダリティをまたがり、モダリティ間で交差する時間的依存関係を捉え、感情分析、ビデオキャプション生成、感情コンピューティングなどのタスクの基本的なアプローチとなります。
手法の全文を読む
会員限定
ログイン無料アカウントでログインすると、このセクションを読めます。
Method map
The neighbourhood of related methods — select a node to explore.
出典
- Rajagopalan, S., Tran, L., Rozgic, V., Narayanan, S., Kumar, A., & Ramakrishna, S. (2016). Extending Long Short-Term Memory for Multi-View Structured Learning. In Proceedings of ECCV 2016. Springer. link ↗
- Hochreiter, S., & Schmidhuber, J. (1997). Long Short-Term Memory. Neural Computation, 9(8), 1735–1780. DOI: 10.1162/neco.1997.9.8.1735 ↗
このページの引用方法
ScholarGate. (2026, June 3). Multimodal Long Short-Term Memory Network. ScholarGate. https://scholargate.app/ja/deep-learning/multimodal-lstm
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- アテンションメカニズム深層学習↔ compare
- Gated Recurrent Unit (GRU)深層学習↔ compare
- LSTM深層学習↔ compare
- マルチモーダル・トランスフォーマー深層学習↔ compare