Mélange d'experts
Le Mélange d'experts (MoE) est une architecture de réseau neuronal creux, introduite par Shazeer et ses collègues en 2017 avec la couche MoE à éclusage creux (sparsely-gated), dans laquelle seul un sous-ensemble de sous-réseaux experts est activé pour chaque entrée. Comme observé dans des modèles tels que Switch Transformer et Mixtral, il maintient le coût de calcul fixe même lorsque le nombre total de paramètres augmente.
Lire la méthode complète
Connectez-vous avec un compte gratuit pour lire cette section.
Carte des méthodes
Le voisinage des méthodes apparentées — sélectionnez un nœud pour explorer.
Sources
Comment citer cette page
ScholarGate. (2026, June 1). Sparsely-Gated Mixture of Experts (MoE). ScholarGate. https://scholargate.app/fr/deep-learning/mixture-of-experts
Quelle méthode ?
Placez cette méthode aux côtés de ses plus proches parentes et lisez-les côte à côte — la bibliothèque pose les ouvrages sur la table ; le choix vous revient.
- Réseau d'attention sur grapheApprentissage profond↔ comparer
- Forêt AléatoireApprentissage automatique↔ comparer
- XGBoostApprentissage automatique↔ comparer
Référencée par
Une erreur sur cette page ? Signalez-la ou proposez une correction →