Multimodal Gated Recurrent Unit

Un GRU estàndard llegeix una seqüència i aprèn quina informació conservar o descartar al llarg del temps mitjançant portes d'actualització (update gates) i de restabliment (reset gates). En un entorn multimodal, el model primer codifica cada modalitat per separat — per exemple, embeddings de paraules per a text i característiques acústiques per a àudio — i després combina aquestes representacions abans o durant el pas recurrent. El mecanisme de porta decideix, a cada pas temporal, quanta part del context multimodal fusionat s'ha de mantenir i quanta s'ha d'esborrar, permetent a la xarxa aprendre patrons temporals intermodals rics que cap model unimodal pot capturar.