Time-MoE : Modèle Fondateur de Séries Temporelles à Mélange d'Experts

Time-MoE est un modèle fondamental autorégressif à l'échelle du milliard pour la prévision universelle de séries temporelles, introduit par Shi et al. en 2024 et accepté à l'ICLR 2025. Il combine une architecture de transformeur à décodeur seul avec des couches d'alimentation à Mélange d'Experts (MoE) épars, permettant au modèle d'atteindre des milliards de paramètres tout en n'activant qu'un sous-ensemble restreint de réseaux d'experts par jeton — augmentant considérablement la capacité sans coût de calcul proportionnel.