ScholarGate
Avustaja
Machine learning

Asiantuntijoiden sekoitus

Asiantuntijoiden sekoitus (Mixture of Experts, MoE) on harva neuroverkkoarkkitehtuuri, jonka Shazeer ja kollegat esittelivät vuonna 2017 harvasti portitetulla MoE-kerroksella. Tässä arkkitehtuurissa vain asiantuntija-aliverkkojen osajoukko aktivoidaan kullekin syötteelle. Kuten malleissa Switch Transformer ja Mixtral, se pitää laskentakustannukset vakioina, vaikka parametrien kokonaismäärä kasvaa.

Avaa sovelluksessa MethodMindTulossaVideoTulossaLataa diat

Lue koko menetelmä

Vain jäsenille

Kirjaudu sisään maksuttomalla tilillä lukeaksesi tämän osion.

Kirjaudu sisään

Menetelmäkartta

Lähimenetelmien naapurusto — valitse solmu tutkiaksesi.

Lähteet

  1. Shazeer, N. et al. (2017). Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer. ICLR. arXiv:1701.06538 link
  2. Jiang, A.Q. et al. (2024). Mixtral of Experts. arXiv. link

Näin viittaat tähän sivuun

ScholarGate. (2026, June 1). Sparsely-Gated Mixture of Experts (MoE). ScholarGate. https://scholargate.app/fi/deep-learning/mixture-of-experts

Mikä menetelmä?

Aseta tämä menetelmä lähimpien sukulaistensa rinnalle ja lue niitä yhdessä — kirjasto asettaa teokset pöydälle; valinta on sinun.

Vertaa rinnakkain

Tähän viittaavat

ScholarGateMixture of Experts (Sparsely-Gated Mixture of Experts (MoE)). Haettu 2026-06-15 osoitteesta https://scholargate.app/fi/deep-learning/mixture-of-experts · Aineisto: https://doi.org/10.5281/zenodo.20539026