Multimodal Gated Recurrent Unit

Um GRU padrão lê uma sequência e aprende quais informações reter ou descartar ao longo do tempo usando portões de atualização e reset. Em um cenário multimodal, o modelo primeiro codifica cada modalidade separadamente — por exemplo, embeddings de palavras para texto e características acústicas para áudio — em seguida, combina essas representações antes ou durante a passagem recorrente. O mecanismo de portão decide, então, a cada passo de tempo, quanta parte do contexto multimodal fundido carregar adiante e quanta parte sobrescrever, permitindo que a rede aprenda padrões temporais intermodais ricos que nenhum modelo unimodal pode capturar.