Time-MoE: базовая модель для временных рядов на основе Mixture-of-Experts

Time-MoE — это авторегрессионная базовая модель масштаба миллиардов параметров для универсального прогнозирования временных рядов, представленная Ши и др. в 2024 году и принятая на ICLR 2025. Она сочетает в себе трансформерную архитектуру только с декодером и разреженные полносвязные слои Mixture-of-Experts (MoE), что позволяет масштабировать модель до миллиардов параметров, активируя лишь небольшую подвыборку экспертных сетей для каждого токена — это резко увеличивает емкость без пропорционального увеличения вычислительных затрат.