Смесь экспертов

Смесь экспертов (Mixture of Experts, MoE) — это разреженная архитектура нейронных сетей, представленная Шейзером и его коллегами в 2017 году с использованием слоя MoE с разреженным гейтингом, в котором для каждого входного сигнала активируется только подмножество экспертных подсетей. Как видно на примерах таких моделей, как Switch Transformer и Mixtral, стоимость вычислений остается постоянной, даже когда растет общее количество параметров.