Мультимодальна LSTM

Багатомодальна LSTM (Long Short-Term Memory) розширює стандартну мережу LSTM для спільної обробки послідовних даних з кількох вхідних модальностей — таких як текст, аудіо та відео — в межах єдиної рекурентної архітектури. Шляхом злиття представлень з різних джерел до або всередині комірок LSTM, вона вловлює часові залежності, які охоплюють та перетинають модальності, що робить її фундаментальним підходом для таких завдань, як аналіз тональності, створення субтитрів до відео та обчислювальна психологія.