Machine learning

전문가 혼합

전문가 혼합(Mixture of Experts, MoE)은 2017년 Shazeer와 동료들이 제안한 희소 신경망 아키텍처로, 각 입력에 대해 전문가 하위 네트워크의 일부만 활성화되는 희소 게이팅 MoE 레이어를 특징으로 합니다. Switch Transformer 및 Mixtral과 같은 모델에서 볼 수 있듯이, 총 매개변수 수가 증가하더라도 계산 비용은 일정하게 유지됩니다.

MethodMind에서 열기곧 제공동영상곧 제공슬라이드 다운로드

방법 전문 읽기

회원 전용

무료 계정으로 로그인하면 이 섹션을 읽을 수 있습니다.

로그인

방법 지도

관련 방법들로 이루어진 인접 영역 — 노드를 선택해 살펴보세요.

전문가 혼합

그래프 어텐션 네트워크 랜덤 포레스트 XGBoost 지식 증류 Longformer / BigBird Multimodal Variational A…신경망 구조 탐색 Time-MoE: 시계열 예측을 위한 혼합…시각적 대조 학습

출처

Shazeer, N. et al. (2017). Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer. ICLR. arXiv:1701.06538 link ↗
Jiang, A.Q. et al. (2024). Mixtral of Experts. arXiv. link ↗

이 페이지 인용 방법

ScholarGate. (2026, June 1). Sparsely-Gated Mixture of Experts (MoE). ScholarGate. https://scholargate.app/ko/deep-learning/mixture-of-experts

어떤 방법일까요?

이 방법을 가장 가까운 동류의 방법들과 나란히 놓고 비교해 보세요 — 라이브러리는 책을 펼쳐 놓을 뿐, 선택은 여러분의 몫입니다.

나란히 비교하기 →

이 방법을 참조하는 항목

지식 증류 Longformer / BigBird Multimodal Variational Autoencoder 신경망 구조 탐색 Time-MoE: 시계열 예측을 위한 혼합 전문가 기반 기초 모델 시각적 대조 학습

이 페이지에서 오류를 발견하셨나요? 신고하거나 수정을 제안하세요 →