Multimodal Long Short-Term Memory Network

LSTM ya kawaida husoma mkondo mmoja wa tokeni na hukumbuka kinacho maana katika hatua za muda. Multimodal LSTM inauliza: vipi ikiwa pembejeo sio maneno tu, bali pia sauti ya sauti, maonyesho ya uso, au fremu za picha — zote zikifunuka kwa wakati? Uelewa mkuu ni kwamba kila njia hubeba ishara zinazokamilishana, na kuziuunganisha — ama kwa kuunganisha vekta zao za sifa katika kila hatua, kujifunza hali ya seli ya pamoja, au kutumia malango maalum — huruhusu mtandao kuchukua fursa ya uhusiano kati ya njia ambazo hakuna mkondo unaofunua peke yake. Matokeo yake ni mtindo mfuatano tajiri zaidi unaoona picha kamili.