混合専門家モデル

エキスパートの混合（MoE）は、2017年にShazeerらによって導入されたスパースニューラルネットワークアーキテクチャであり、スパースゲート付きMoEレイヤーを備えています。このレイヤーでは、各入力に対してエキスパートサブネットワークのサブセットのみがアクティブになります。Switch TransformerやMixtralのようなモデルに見られるように、総パラメータ数が増加しても計算コストは一定に保たれます。