Time-MoE: Modelo de Fundação de Séries Temporais com Mistura de Especialistas

Time-MoE é um modelo de fundação autorregressivo em escala de bilhões de parâmetros para previsão universal de séries temporais, introduzido por Shi et al. em 2024 e aceito no ICLR 2025. Ele combina uma arquitetura de transformador apenas com decodificador e camadas feed-forward esparsas de Mistura de Especialistas (MoE), permitindo que o modelo escale para bilhões de parâmetros enquanto ativa apenas um pequeno subconjunto de redes de especialistas por token — aumentando drasticamente a capacidade sem um custo computacional proporcional.