Machine learning

Mchanganyiko wa Wataalamu

Mchanganyiko wa Wataalamu (MoE) ni usanifu wa mtandao wa neva wenye utando, ulioanzishwa na Shazeer na wenzake mwaka 2017 kwa safu ya MoE yenye lango la utando, ambapo ni sehemu ndogo tu ya mitandao ya wataalamu huchochewa kwa kila pembejeo. Kama inavyoonekana katika miundo kama vile Switch Transformer na Mixtral, huweka gharama ya hesabu ikiwa sawa hata idadi kamili ya vigezo inakua.

Fungua katika MethodMindHivi karibuniVideoHivi karibuniPakua slaidi

Soma mbinu kamili

Kwa wanachama pekee

Ingia kwa akaunti ya bure ili kusoma sehemu hii.

Ingia

Ramani ya mbinu

Jirani ya mbinu zinazohusiana — chagua nodi ili kuchunguza.

Mchanganyiko wa Wataalamu

Mtandao wa Makini wa Gra…Msitu Nasibu XGBoost Ufumbuzi wa Maarifa Longformer / BigBird Mwanamfumo wa Kigeugeu w…Utafutaji wa Usanifu wa…Time-MoE Ujifunzaji wa Kulinganis…

Vyanzo

Shazeer, N. et al. (2017). Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer. ICLR. arXiv:1701.06538 link ↗
Jiang, A.Q. et al. (2024). Mixtral of Experts. arXiv. link ↗

Jinsi ya kunukuu ukurasa huu

ScholarGate. (2026, June 1). Sparsely-Gated Mixture of Experts (MoE). ScholarGate. https://scholargate.app/sw/deep-learning/mixture-of-experts

Mbinu ipi?

Weka mbinu hii kando ya jamaa zake wa karibu na uzisome bega kwa bega — maktaba huweka vitabu mezani; uamuzi ni wako.

Mtandao wa Makini wa GrafuUjifunzaji wa Kina↔ linganisha
Msitu NasibuUjifunzaji wa Mashine↔ linganisha
XGBoostUjifunzaji wa Mashine↔ linganisha

Linganisha bega kwa bega →

Imerejelewa na

Ufumbuzi wa Maarifa Longformer / BigBird Mwanamfumo wa Kigeugeu wa Njia Nyingi Utafutaji wa Usanifu wa Neural Time-MoE Ujifunzaji wa Kulinganisha wa Kuona

Umeona tatizo kwenye ukurasa huu? Ripoti au pendekeza marekebisho →

Soma mbinu kamili

Ramani ya mbinu

Vyanzo

Jinsi ya kunukuu ukurasa huu

Mbinu zinazohusiana

Mbinu ipi?

Imerejelewa na