Time-MoE: Model fundamental de tip "Mixture-of-Experts" pentru serii de timp

Time-MoE este un model fundamental autoregresiv la scară de miliarde de parametri pentru prognoza universală a seriilor de timp, introdus de Shi et al. în 2024 și acceptat la ICLR 2025. Acesta combină o arhitectură de tip transformer doar cu decodor cu straturi feed-forward de tip Mixture-of-Experts (MoE) sparse, permițând modelului să scaleze la miliarde de parametri, activând în același timp doar un subset mic de rețele de experți per token — crescând dramatic capacitatea fără un cost computațional proporțional.