Machine learningDeep learning / NLP / CV
多模态循环神经网络
多模态循环神经网络（Multimodal Recurrent Neural Network）在循环序列处理框架内结合了来自两种或多种数据模态（如图像、文本和音频）的输入。它分别编码每种模态，融合这些表示，然后通过循环单元（RNN、LSTM 或 GRU）处理组合信号，以生成或分类序列输出。这种设计使其成为图像字幕生成、视频描述和视听语音识别的基础方法。
阅读完整方法
仅限会员
登录使用免费账户登录即可阅读本节。
方法图谱
相关方法的邻域——选择一个节点以展开探索。
来源
- Vinyals, O., Toshev, A., Bengio, S., & Erhan, D. (2015). Show and Tell: A Neural Image Caption Generator. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 3156–3164. DOI: 10.1109/CVPR.2015.7298935 ↗
- Ngiam, J., Khosla, A., Kim, M., Nam, J., Lee, H., & Ng, A. Y. (2011). Multimodal Deep Learning. Proceedings of the 28th International Conference on Machine Learning (ICML), pp. 689–696. link ↗
如何引用本页
ScholarGate. (2026, June 3). Multimodal Recurrent Neural Network (MM-RNN). ScholarGate. https://scholargate.app/zh/deep-learning/multimodal-recurrent-neural-network
选用哪种方法？
将本方法与其最相近的同类并置，并排研读——本馆将书籍铺陈于案上，取舍则由您定夺。
- 门控循环单元 (GRU)深度学习↔ 比较
- 长短期记忆网络（LSTM）深度学习↔ 比较
- 多模态BERT分类深度学习↔ 比较
- 多模态卷积神经网络深度学习↔ 比较
- 多模态Transformer深度学习↔ 比较
- 循环神经网络深度学习↔ 比较