Multimodal Gated Recurrent Unit

Egy standard GRU egyetlen szekvenciát olvas be, és a frissítési és reset kapuk segítségével tanulja meg, mely információkat tartson meg vagy dobjon el az idő múlásával. Multimodális környezetben a modell először külön-külön kódolja az egyes modalitásokat – például szóbeágyazásokat a szöveghez és akusztikus jellemzőket a hanghoz –, majd ezeket a reprezentációkat kombinálja a rekurrens feldolgozás előtt vagy alatt. A kapuzó mechanizmus ezután minden időlépésben eldönti, hogy a fuzionált multimodális kontextus mennyi részét vigye tovább, és mennyi részét írja felül, lehetővé téve a hálózat számára, hogy gazdag, modalitások közötti időbeli mintázatokat tanuljon meg, amelyeket egyetlen modalitású modell nem tudna rögzíteni.