ScholarGate
Asistent
Machine learning

Mješavina stručnjaka

Mješavina stručnjaka (MoE) je rijetka arhitektura neuronske mreže, koju su Shazeer i kolege predstavili 2017. godine sa slojem MoE s rijetkim vratima, u kojem se za svaki ulaz aktivira samo podskup stručnih pod-mreža. Kao što se vidi u modelima kao što su Switch Transformer i Mixtral, ona održava fiksne troškove izračuna čak i kada ukupni broj parametara raste.

Otvorite u MethodMindUskoroVideoUskoroPreuzmi prezentaciju

Pročitajte cijelu metodu

Samo za članove

Prijavite se besplatnim računom kako biste pročitali ovaj odjeljak.

Prijavite se

Karta metoda

Okruženje srodnih metoda — odaberite čvor za istraživanje.

Mješavina stručnjaka
Grafička mrežna mreža s…Slučajna šumaXGBoostDestilacija znanja[NEEDS TRANSLATION]Višeslojni (Multimodalni…Automatsko pretraživanje…Time-MoE: Temeljni model…Vizualno kontrastivno uč…

Izvori

  1. Shazeer, N. et al. (2017). Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer. ICLR. arXiv:1701.06538 link ↗
  2. Jiang, A.Q. et al. (2024). Mixtral of Experts. arXiv. link ↗

Kako citirati ovu stranicu

ScholarGate. (2026, June 1). Sparsely-Gated Mixture of Experts (MoE). ScholarGate. https://scholargate.app/hr/deep-learning/mixture-of-experts

Koja metoda?

Postavite ovu metodu uz njoj najsrodnije i pročitajte ih jednu uz drugu — knjižnica vam knjige stavlja na stol; izbor je na vama.

Usporedi jedno uz drugo →

Citirana u

Destilacija znanja[NEEDS TRANSLATION]Višeslojni (Multimodalni) varijacijski autoenkoderAutomatsko pretraživanje arhitektura dubokih mrežaTime-MoE: Temeljni model za vremenske serije utemeljen na mješavini stručnjakaVizualno kontrastivno učenje

Uočili ste pogrešku na ovoj stranici? Prijavite je ili predložite ispravak →

ScholarGate — Mixture of Experts (Sparsely-Gated Mixture of Experts (MoE)). Preuzeto 2026-06-15 s https://scholargate.app/hr/deep-learning/mixture-of-experts · Skup podataka: https://doi.org/10.5281/zenodo.20539026