Machine learning

ترکیبی از متخصصان

ترکیبی از متخصصان (MoE) یک معماری شبکه عصبی پراکنده است که در سال ۲۰۱۷ توسط شیزر و همکاران با لایه MoE با گیتینگ پراکنده معرفی شد، که در آن تنها زیرمجموعه‌ای از زیرشبکه‌های متخصص برای هر ورودی فعال می‌شوند. همانطور که در مدل‌هایی مانند Switch Transformer و Mixtral دیده می‌شود، هزینه محاسباتی را حتی با افزایش تعداد کل پارامترها ثابت نگه می‌دارد.

باز کردن در MethodMindبه‌زودیویدیوبه‌زودیDownload slides

مطالعهٔ کامل روش

ویژهٔ اعضا

برای خواندن این بخش با حساب رایگان وارد شوید.

ورود

Method map

The neighbourhood of related methods — select a node to explore.

منابع

  1. Shazeer, N. et al. (2017). Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer. ICLR. arXiv:1701.06538 link
  2. Jiang, A.Q. et al. (2024). Mixtral of Experts. arXiv. link

نحوهٔ استناد به این صفحه

ScholarGate. (2026, June 1). Sparsely-Gated Mixture of Experts (MoE). ScholarGate. https://scholargate.app/fa/deep-learning/mixture-of-experts

Which method?

Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.

Compare side by side

ارجاع‌شده در

ScholarGateMixture of Experts (Sparsely-Gated Mixture of Experts (MoE)). بازیابی‌شده در 2026-06-15 از https://scholargate.app/fa/deep-learning/mixture-of-experts · مجموعه‌داده: https://doi.org/10.5281/zenodo.20539026