Смес от експерти
Смес от експерти (Mixture of Experts, MoE) е разредена невронно-мрежова архитектура, въведена от Shazeer и колеги през 2017 г. с разредено-комутирания MoE слой, в който само подмножество от експертни подмрежи се активира за всеки вход. Както се вижда в модели като Switch Transformer и Mixtral, тя поддържа изчислителната цена фиксирана, дори когато общият брой параметри нараства.
Прочетете целия метод
Влезте с безплатен профил, за да прочетете този раздел.
Карта на методите
Обкръжението на сродните методи — изберете възел, за да го разгледате.
Източници
Как да цитирате тази страница
ScholarGate. (2026, June 1). Sparsely-Gated Mixture of Experts (MoE). ScholarGate. https://scholargate.app/bg/deep-learning/mixture-of-experts
Кой метод?
Поставете този метод до най-близките му сродни методи и ги четете едно до друго — библиотеката полага книгите на масата; изборът е ваш.
- Графова невронна мрежа с внимание (GAT)Дълбоко обучение↔ сравняване
- Случайна гораМашинно обучение↔ сравняване
- XGBoostМашинно обучение↔ сравняване
Цитиран в
Забелязахте ли проблем на тази страница? Съобщете или предложете поправка →