Mešavina eksperata
Mešavina eksperata (Mixture of Experts, MoE) je retka arhitektura neuralnih mreža, koju su uveli Shazeer i saradnici 2017. godine sa slojem MoE sa retkim usmeravanjem (sparsely-gated MoE layer), u kojem se za svaki ulaz aktivira samo podskup ekspertskih pod-mreža. Kao što se vidi u modelima kao što su Switch Transformer i Mixtral, cena računanja ostaje fiksna čak i kada raste ukupan broj parametara.
Pročitajte celu metodu
Prijavite se besplatnim nalogom da biste pročitali ovaj odeljak.
Mapa metoda
Okruženje srodnih metoda — izaberite čvor da biste istraživali.
Izvori
Kako citirati ovu stranicu
ScholarGate. (2026, June 1). Sparsely-Gated Mixture of Experts (MoE). ScholarGate. https://scholargate.app/sr/deep-learning/mixture-of-experts
Koja metoda?
Postavite ovu metodu pored njoj najbližih srodnika i čitajte ih uporedo — biblioteka polaže knjige na sto; izbor je na vama.
- Графова мрежа са пажњом (Graph Attention Network, GAT)Duboko učenje↔ uporedi
- Slučajna šumaMašinsko učenje↔ uporedi
- XGBoostMašinsko učenje↔ uporedi
Citirana u
Uočili ste grešku na ovoj stranici? Prijavite je ili predložite ispravku →