Mixture of Experts

Mixture of Experts (MoE) ist eine sparse neuronale Netzwerkarchitektur, die 2017 von Shazeer und Kollegen mit der sparsely-gated MoE-Schicht eingeführt wurde, bei der für jede Eingabe nur eine Untermenge von Experten-Subnetzwerken aktiviert wird. Wie bei Modellen wie Switch Transformer und Mixtral zu sehen ist, hält sie die Berechnungskosten konstant, auch wenn die Gesamtzahl der Parameter wächst.