Multimodal Long Short-Term Memory Network

एक पारंपरिक एलएसटीएम (LSTM) टोकन की एक एकल धारा को पढ़ता है और समय चरणों में क्या महत्वपूर्ण है उसे याद रखता है। मल्टीमॉडल एलएसटीएम (Multimodal LSTM) पूछता है: क्या होगा यदि इनपुट केवल शब्द नहीं, बल्कि आवाज का लहजा, चेहरे के भाव, या छवि फ्रेम भी हों - ये सभी समय के साथ सामने आ रहे हों? मुख्य अंतर्दृष्टि यह है कि प्रत्येक तौर-तरीका पूरक संकेत वहन करता है, और उन्हें फ्यूज करना - या तो प्रत्येक चरण में उनके फीचर वैक्टर को जोड़कर, एक संयुक्त सेल स्थिति सीखकर, या समर्पित गेट्स का उपयोग करके - नेटवर्क को तौर-तरीकों के बीच सहसंबंधों का फायदा उठाने की अनुमति देता है जो कोई भी धारा अकेले प्रकट नहीं करती है। परिणाम एक समृद्ध अनुक्रमिक मॉडल है जो पूरी तस्वीर देखता है।