Mixture of Experts
Mixture of Experts (MoE) és una arquitectura de xarxa neuronal dispersa, introduïda per Shazeer i col·laboradors el 2017 amb la capa MoE amb *gating* dispers, en la qual només un subconjunt de subxarxes expertes s'activa per a cada entrada. Com es veu en models com Switch Transformer i Mixtral, manté el cost computacional fix tot i que creix el nombre total de paràmetres.
Llegeix el mètode complet
Inicia la sessió amb un compte gratuït per llegir aquesta secció.
Method map
The neighbourhood of related methods — select a node to explore.
Fonts
Com citar aquesta pàgina
ScholarGate. (2026, June 1). Sparsely-Gated Mixture of Experts (MoE). ScholarGate. https://scholargate.app/ca/deep-learning/mixture-of-experts
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Graph Attention NetworkAprenentatge profund↔ compare
- Random ForestAprenentatge automàtic↔ compare
- XGBoostAprenentatge automàtic↔ compare
Citat per
Has vist cap problema en aquesta pàgina? Informa'n o suggereix una correcció →