Mixture of Experts
Mixture of Experts (MoE) to rzadka architektura sieci neuronowych, wprowadzona przez Shazeera i współpracowników w 2017 roku wraz z warstwą MoE z rzadkim bramkowaniem (sparsely-gated MoE), w której dla każdego wejścia aktywowany jest tylko podzbiór podsieci eksperckich. Jak widać w modelach takich jak Switch Transformer i Mixtral, koszt obliczeniowy pozostaje stały, nawet gdy rośnie całkowita liczba parametrów.
Przeczytaj pełny opis metody
Zaloguj się na bezpłatne konto, aby przeczytać tę sekcję.
Mapa metod
Sąsiedztwo pokrewnych metod — wybierz węzeł, aby je zgłębić.
Źródła
Jak cytować tę stronę
ScholarGate. (2026, June 1). Sparsely-Gated Mixture of Experts (MoE). ScholarGate. https://scholargate.app/pl/deep-learning/mixture-of-experts
Która metoda?
Zestaw tę metodę z najbliższymi jej krewnymi i czytaj je obok siebie — biblioteka kładzie księgi na stole; wybór należy do Ciebie.
- Sieć uwagi grafowejUczenie głębokie↔ porównaj
- Random ForestUczenie maszynowe↔ porównaj
- XGBoostUczenie maszynowe↔ porównaj
Cytowana przez
Widzisz błąd na tej stronie? Zgłoś go lub zaproponuj poprawkę →