Mixture of Experts
Mixture of Experts (MoE) là một kiến trúc mạng nơ-ron thưa, được Shazeer và cộng sự giới thiệu vào năm 2017 với lớp MoE được phân bổ theo cổng (sparsely-gated MoE layer), trong đó chỉ một tập hợp con các mạng con chuyên gia (expert sub-networks) được kích hoạt cho mỗi đầu vào. Như đã thấy trong các mô hình như Switch Transformer và Mixtral, nó giữ chi phí tính toán không đổi ngay cả khi tổng số tham số tăng lên.
Đọc toàn bộ phương pháp
Đăng nhập bằng tài khoản miễn phí để đọc phần này.
Bản đồ phương pháp
Lân cận của các phương pháp liên quan — chọn một nút để khám phá.
Nguồn tài liệu
Cách trích dẫn trang này
ScholarGate. (2026, June 1). Sparsely-Gated Mixture of Experts (MoE). ScholarGate. https://scholargate.app/vi/deep-learning/mixture-of-experts
Phương pháp nào?
Đặt phương pháp này bên cạnh những phương pháp gần gũi nhất với nó và đọc chúng song song — thư viện bày sách lên bàn; lựa chọn là của bạn.
- Mạng Hồi quy Đồ thị (Graph Attention Network - GAT)Học sâu↔ so sánh
- Rừng ngẫu nhiênHọc máy↔ so sánh
- XGBoostHọc máy↔ so sánh
Được tham chiếu bởi
Phát hiện lỗi trên trang này? Báo cáo hoặc đề xuất chỉnh sửa →