ScholarGate
Asistent
Machine learning

Zmes expertov

Zmes expertov (Mixture of Experts, MoE) je riedka neurónová sieťová architektúra, ktorú v roku 2017 predstavili Shazeer a kolektív pomocou vrstvy MoE s riedkym prepínaním (sparsely-gated MoE layer), v ktorej sa pre každý vstup aktivuje iba podmnožina expertných podsieťových štruktúr. Ako je vidieť v modeloch ako Switch Transformer a Mixtral, náklady na výpočet zostávajú fixné, aj keď celkový počet parametrov rastie.

Otvoriť v MethodMindČoskoroVideoČoskoroStiahnuť snímky

Prečítať celú metódu

Len pre členov

Ak si chcete prečítať túto sekciu, prihláste sa s bezplatným účtom.

Prihlásiť sa

Mapa metód

Okolie príbuzných metód — vyberte uzol na preskúmanie.

Zmes expertov
Grafová at enčná sieťNáhodný lesXGBoostKnowledge DistillationLongformer / BigBirdMultimodálny variančný a…Neúrové vyhľadávanie arc…Time-MoE: Model zameraný…Vizuálne kontrastné učen…

Zdroje

  1. Shazeer, N. et al. (2017). Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer. ICLR. arXiv:1701.06538 link ↗
  2. Jiang, A.Q. et al. (2024). Mixtral of Experts. arXiv. link ↗

Ako citovať túto stránku

ScholarGate. (2026, June 1). Sparsely-Gated Mixture of Experts (MoE). ScholarGate. https://scholargate.app/sk/deep-learning/mixture-of-experts

Ktorá metóda?

Postavte túto metódu vedľa jej najbližších príbuzných a čítajte ich vedľa seba — knižnica vám knihy položí na stôl; voľba je na vás.

Porovnať vedľa seba →

Odkazujú sem

Knowledge DistillationLongformer / BigBirdMultimodálny variančný autoenkodérNeúrové vyhľadávanie architektúryTime-MoE: Model zameraný na časové rady založený na zmesi expertovVizuálne kontrastné učenie

Našli ste na tejto stránke chybu? Nahláste ju alebo navrhnite opravu →

ScholarGate — Mixture of Experts (Sparsely-Gated Mixture of Experts (MoE)). Získané 2026-06-15 z https://scholargate.app/sk/deep-learning/mixture-of-experts · Dátová sada: https://doi.org/10.5281/zenodo.20539026