Mixture of Experts
Mixture of Experts (MoE) is een sparse neuraal netwerkarchitectuur, geïntroduceerd door Shazeer en collega's in 2017 met de sparsely-gated MoE-laag, waarbij slechts een subset van expert-subnetwerken wordt geactiveerd voor elke invoer. Zoals te zien is in modellen zoals Switch Transformer en Mixtral, blijft de rekenkosten vast, zelfs als het totale aantal parameters groeit.
Lees de volledige methode
Log in met een gratis account om dit onderdeel te lezen.
Methodenkaart
De omgeving van verwante methoden — selecteer een knooppunt om te verkennen.
Bronnen
Deze pagina citeren
ScholarGate. (2026, June 1). Sparsely-Gated Mixture of Experts (MoE). ScholarGate. https://scholargate.app/nl/deep-learning/mixture-of-experts
Welke methode?
Plaats deze methode naast haar naaste verwanten en lees ze naast elkaar — de bibliotheek legt de boeken op tafel; de keuze is aan u.
- Graph Attention NetworkDeep learning↔ vergelijken
- Random ForestMachine learning↔ vergelijken
- XGBoostMachine learning↔ vergelijken
Geciteerd door
Een fout op deze pagina gezien? Meld het of stel een correctie voor →