Багатомодальна рекурентна нейронна мережа
Багамодальна рекурентна нейронна мережа (Multimodal Recurrent Neural Network) поєднує вхідні дані з двох або більше модальностей — таких як зображення, текст та аудіо — в рамках рекурентної системи обробки послідовностей. Вона окремо кодує кожну модальність, об'єднує представлення та потім обробляє комбінований сигнал за допомогою рекурентних блоків (RNN, LSTM або GRU) для генерації або класифікації послідовних виходів. Така архітектура стала основоположним підходом у створенні підписів до зображень, описі відео та аудіовізуальному розпізнаванні мови.
Читати метод повністю
Увійдіть із безкоштовним обліковим записом, щоб прочитати цей розділ.
Method map
The neighbourhood of related methods — select a node to explore.
Джерела
- Vinyals, O., Toshev, A., Bengio, S., & Erhan, D. (2015). Show and Tell: A Neural Image Caption Generator. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 3156–3164. DOI: 10.1109/CVPR.2015.7298935 ↗
- Ngiam, J., Khosla, A., Kim, M., Nam, J., Lee, H., & Ng, A. Y. (2011). Multimodal Deep Learning. Proceedings of the 28th International Conference on Machine Learning (ICML), pp. 689–696. link ↗
Як цитувати цю сторінку
ScholarGate. (2026, June 3). Multimodal Recurrent Neural Network (MM-RNN). ScholarGate. https://scholargate.app/uk/deep-learning/multimodal-recurrent-neural-network
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Блокований рекурентний блок (GRU)Глибоке навчання↔ compare
- Довга короткострокова пам'ять (LSTM)Глибоке навчання↔ compare
- Мультимодальна класифікація на основі BERTГлибоке навчання↔ compare
- Мультимодальна згорткова нейронна мережаГлибоке навчання↔ compare
- Мультимодальний ТрансформерГлибоке навчання↔ compare
- Рекурентна нейронна мережаГлибоке навчання↔ compare
Згадується в
Помітили помилку на цій сторінці? Повідомте про неї або запропонуйте виправлення →