Blanding av eksperter
Blanding av eksperter (MoE) er en sparsom nevralt nettverksarkitektur, introdusert av Shazeer og kolleger i 2017 med det sparsomt-gatede MoE-laget, der bare en delmengde av ekspert-undernettverk aktiveres for hvert input. Som sett i modeller som Switch Transformer og Mixtral, holder den beregningskostnaden fast selv når det totale antallet parametere vokser.
Les hele metoden
Logg inn med en gratis konto for å lese denne delen.
Method map
The neighbourhood of related methods — select a node to explore.
Kilder
Slik siterer du denne siden
ScholarGate. (2026, June 1). Sparsely-Gated Mixture of Experts (MoE). ScholarGate. https://scholargate.app/no/deep-learning/mixture-of-experts
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Graph Attention NetworkDyp læring↔ compare
- Random ForestMaskinlæring↔ compare
- XGBoostMaskinlæring↔ compare
Referert av
Funnet en feil på denne siden? Rapporter eller foreslå en rettelse →