Multimodal Gated Recurrent Unit

Một GRU tiêu chuẩn đọc một chuỗi và học thông tin nào cần giữ lại hoặc loại bỏ theo thời gian bằng cách sử dụng các cổng cập nhật (update gates) và cổng đặt lại (reset gates). Trong một thiết lập đa phương thức, mô hình trước tiên mã hóa từng phương thức một cách riêng biệt — ví dụ, nhúng từ cho văn bản và các đặc trưng âm thanh cho âm thanh — sau đó kết hợp các biểu diễn đó trước hoặc trong quá trình hồi quy. Cơ chế cổng sau đó quyết định, tại mỗi bước thời gian, bao nhiêu ngữ cảnh đa phương thức được hợp nhất sẽ được chuyển tiếp và bao nhiêu sẽ bị ghi đè, cho phép mạng học các mẫu thời gian chéo phương thức phong phú mà không mô hình đơn phương thức nào có thể nắm bắt được.