Multimodal Long Short-Term Memory Network

Một LSTM thông thường đọc một luồng token duy nhất và ghi nhớ những gì quan trọng qua các bước thời gian. LSTM đa phương thức đặt câu hỏi: điều gì sẽ xảy ra nếu đầu vào không chỉ là từ ngữ, mà còn là giọng điệu, biểu cảm khuôn mặt, hoặc các khung hình ảnh — tất cả đều diễn ra theo thời gian? Ý tưởng cốt lõi là mỗi phương thức mang các tín hiệu bổ sung, và việc hợp nhất chúng — bằng cách nối các vector đặc trưng của chúng tại mỗi bước, học một trạng thái ô chung, hoặc sử dụng các cổng chuyên dụng — cho phép mạng khai thác các tương quan giữa các phương thức mà không luồng nào tiết lộ một mình. Kết quả là một mô hình tuần tự phong phú hơn, nhìn thấy bức tranh toàn cảnh.