Non-stationary Transformer

Non-stationary Transformer — это архитектура для прогнозирования временных рядов на основе Transformer, представленная Ён Лю, Хайсу Ву, Цзяньминь Ван и Миншэн Лун на конференции NeurIPS 2022. Она решает фундаментальное противоречие при применении Transformer к реальным временным рядам: чрезмерная стационаризация на этапе предварительной обработки удаляет нестационарные сигналы, несущие предиктивную информацию, в то время как необработанные нестационарные входные данные приводят к коллапсу механизма внимания. Модель устраняет это путем стационаризации ряда в сочетании с новым механизмом дестационарного внимания, который восстанавливает исходное временное распределение в прогнозах.