Mixture of Experts

Mixture of Experts (MoE) คือสถาปัตยกรรมโครงข่ายประสาทเทียมแบบเบาบาง (sparse neural-network architecture) ซึ่ง Shazeer และคณะได้นำเสนอในปี 2017 ด้วยชั้น MoE แบบ sparsely-gated โดยมีเพียงส่วนย่อยของโครงข่ายผู้เชี่ยวชาญ (expert sub-networks) เท่านั้นที่จะถูกเปิดใช้งานสำหรับแต่ละอินพุต ดังที่เห็นในโมเดลอย่าง Switch Transformer และ Mixtral มันช่วยให้ต้นทุนการคำนวณคงที่แม้ว่าจำนวนพารามิเตอร์ทั้งหมดจะเพิ่มขึ้นก็ตาม