Mixture of Experts
Mixture of Experts (MoE) is a sparse neural-network architecture, introduced by Shazeer and colleagues in 2017 with the sparsely-gated MoE layer, in which only a subset of expert sub-networks is activated for each input. As seen in models such as Switch Transformer and Mixtral, it holds computation cost fixed even as the total parameter count grows.
Hồ sơ nguồn
Các trích dẫn được sao chép nguyên văn từ hồ sơ nguồn của phương pháp. Không có xác minh cấp độ yêu cầu nào được suy ra từ chúng.
- Shazeer, N. et al. (2017). Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer. ICLR. arXiv:1701.06538 · URL
- Jiang, A.Q. et al. (2024). Mixtral of Experts. arXiv. · URL
Các yêu cầu được tuyển chọn
Các yêu cầu được lưu trữ trong sổ cái bằng chứng, mỗi yêu cầu có đánh giá riêng.
Chế độ xem này không tạo ra đánh giá yêu cầu khi sổ cái không có.
Các phương pháp liên quan
Được tạo từ biểu đồ phương pháp và hiển thị dưới dạng các mối quan hệ được đề xuất bởi máy — không có yêu cầu bằng chứng nào được suy ra.