Směs expertů
Směs expertů (MoE) je řídká architektura neuronových sítí, představená Shazeerem a kolektivem v roce 2017 vrstvou MoE s řídkým řízením (sparsely-gated), ve které je pro každý vstup aktivována pouze podmnožina expertních pod-sítí. Jak je vidět u modelů jako Switch Transformer a Mixtral, drží výpočetní náklady konstantní, i když celkový počet parametrů roste.
Přečíst celou metodu
Pro přečtení této sekce se přihlaste s bezplatným účtem.
Mapa metod
Okolí příbuzných metod — vyberte uzel, který chcete prozkoumat.
Zdroje
Jak citovat tuto stránku
ScholarGate. (2026, June 1). Sparsely-Gated Mixture of Experts (MoE). ScholarGate. https://scholargate.app/cs/deep-learning/mixture-of-experts
Která metoda?
Postavte tuto metodu vedle jejích nejbližších příbuzných a čtěte je vedle sebe — knihovna položí knihy na stůl; volba je na vás.
- Grafová pozornostní síťHluboké učení↔ porovnat
- Random ForestStrojové učení↔ porovnat
- XGBoostStrojové učení↔ porovnat
Odkazuje sem
Našli jste na této stránce chybu? Nahlaste ji nebo navrhněte opravu →