ScholarGate
Assistent
Machine learning

Ekspertide segu

Ekspertide segu (MoE) on harvaesine närvivõrgu arhitektuur, mille Shazeer ja kolleegid tutvustasid 2017. aastal harvalt väravastatud MoE kihiga, kus iga sisendi jaoks aktiveeritakse ainult osa ekspert-alamvõrkudest. Nagu näha mudelites nagu Switch Transformer ja Mixtral, hoiab see arvutuskulud fikseerituna isegi siis, kui parameetrite koguarv kasvab.

Ava rakenduses MethodMindPeagiVideoPeagiLaadi slaidid alla

Loe meetodi täielikku kirjeldust

Ainult liikmetele

Selle osa lugemiseks logi sisse tasuta kontoga.

Logi sisse

Meetodikaart

Seotud meetodite ümbruskond — vali sõlm, et seda uurida.

Ekspertide segu
Graafiline tähelepanuvõrkJuhuslik metsXGBoostTeadmise destilleerimineLongformer / BigBirdMultimodaalne varieeruv…Neuraalarhitektuuri otsi…Time-MoE: Mixture-of-Exp…Visuaalne kontrastiivne…

Allikad

  1. Shazeer, N. et al. (2017). Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer. ICLR. arXiv:1701.06538 link ↗
  2. Jiang, A.Q. et al. (2024). Mixtral of Experts. arXiv. link ↗

Kuidas sellele lehele viidata

ScholarGate. (2026, June 1). Sparsely-Gated Mixture of Experts (MoE). ScholarGate. https://scholargate.app/et/deep-learning/mixture-of-experts

Milline meetod?

Aseta see meetod oma lähimate sugulaste kõrvale ja loe neid kõrvuti — raamatukogu laob raamatud lauale; valik on sinu.

Võrdle kõrvuti →

Sellele viitavad

Teadmise destilleerimineLongformer / BigBirdMultimodaalne varieeruv autoenkooderNeuraalarhitektuuri otsingTime-MoE: Mixture-of-Experts ajapõhine sihtmudelVisuaalne kontrastiivne õppimine

Märkasid sellel lehel viga? Teata sellest või paku parandust →

ScholarGate — Mixture of Experts (Sparsely-Gated Mixture of Experts (MoE)). Loetud 2026-06-15 aadressilt https://scholargate.app/et/deep-learning/mixture-of-experts · Andmestik: https://doi.org/10.5281/zenodo.20539026