ScholarGate
Assistent
Machine learning

Mixture of Experts

Mixture of Experts (MoE) er en sparsom neuralt netværksarkitektur, introduceret af Shazeer og kolleger i 2017 med det sparsomt-gatede MoE-lag, hvor kun en delmængde af ekspert-subnetværk aktiveres for hvert input. Som set i modeller som Switch Transformer og Mixtral, holder den beregningsomkostningerne konstante, selv når det samlede antal parametre vokser.

Åbn i MethodMindSnartVideoSnartHent slides

Læs hele metoden

Kun for medlemmer

Log ind med en gratis konto for at læse dette afsnit.

Log ind

Metodekort

Nabolaget af beslægtede metoder — vælg en knude for at udforske.

Mixture of Experts
Graph Attention NetworkRandom ForestXGBoostKnowledge DistillationLongformer / BigBirdMultimodal Variational A…Neural Architecture Sear…Time-MoE: Mixture-of-Exp…Visuel kontrastiv læring

Kilder

  1. Shazeer, N. et al. (2017). Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer. ICLR. arXiv:1701.06538 link ↗
  2. Jiang, A.Q. et al. (2024). Mixtral of Experts. arXiv. link ↗

Sådan citerer du denne side

ScholarGate. (2026, June 1). Sparsely-Gated Mixture of Experts (MoE). ScholarGate. https://scholargate.app/da/deep-learning/mixture-of-experts

Hvilken metode?

Stil denne metode ved siden af dens nærmeste slægtninge, og læs dem side om side — biblioteket lægger bøgerne på bordet; valget er dit.

Sammenlign side om side →

Refereret af

Knowledge DistillationLongformer / BigBirdMultimodal Variational AutoencoderNeural Architecture SearchTime-MoE: Mixture-of-Experts Tidsrække FundamentmodelVisuel kontrastiv læring

Har du fundet en fejl på denne side? Indberet den eller foreslå en rettelse →

ScholarGate — Mixture of Experts (Sparsely-Gated Mixture of Experts (MoE)). Hentet 2026-06-15 fra https://scholargate.app/da/deep-learning/mixture-of-experts · Datasæt: https://doi.org/10.5281/zenodo.20539026