Meetodi tõendite kirje
Mixture of Experts
Mixture of Experts (MoE) is a sparse neural-network architecture, introduced by Shazeer and colleagues in 2017 with the sparsely-gated MoE layer, in which only a subset of expert sub-networks is activated for each input. As seen in models such as Switch Transformer and Mixtral, it holds computation cost fixed even as the total parameter count grows.
Allikakirje
Tsiteeringud kopeeritud meetodi allikakirjest sõna-sõnalt. Nendest ei saa järeldada väidete tasemel kinnitust.
Sparsely-Gated Mixture of Experts (MoE)
Taksonoomiline meetodikirje · ml-model / deep-learning
- Shazeer, N. et al. (2017). Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer. ICLR. arXiv:1701.06538 · URL
- Jiang, A.Q. et al. (2024). Mixtral of Experts. arXiv. · URL
Kureeritud väited
Väited on salvestatud tõendite registrisse, igal oma hinnanguga.
Kureeritud väiteid veel pole
See vaade ei loo väite hinnangut, kui registris seda pole.
Seotud meetodid
Genereeritud meetodigraafist ja kuvatud masina soovitatud seostena – väiteid ei järeldata.