Machine learning
어텐션 메커니즘
어텐션 메커니즘은 2015년 Bahdanau, Cho, Bengio가 도입하고 같은 해 Luong, Pham, Manning이 개선한 것으로, 시퀀스 디코더가 각 단계에서 인코더의 어떤 출력을 집중할지 동적으로 학습할 수 있게 해준다. 트랜스포머 이전에, 이는 전체 입력을 단일 고정 벡터로 압축해야 하는 모델의 부담을 덜어주어 기계 번역 품질을 실질적으로 향상시켰다.
방법 전문 읽기
회원 전용
로그인무료 계정으로 로그인하면 이 섹션을 읽을 수 있습니다.
Method map
The neighbourhood of related methods — select a node to explore.
+3 more
출처
- Bahdanau, D., Cho, K. & Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. ICLR. link ↗
- Luong, M.T., Pham, H. & Manning, C.D. (2015). Effective Approaches to Attention-based Neural Machine Translation. EMNLP, 1412–1421. DOI: 10.18653/v1/D15-1166 ↗
이 페이지 인용 방법
ScholarGate. (2026, June 1). Attention Mechanism (Bahdanau / Luong Attention). ScholarGate. https://scholargate.app/ko/deep-learning/attention-mechanism
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- BERT 미세 조정딥러닝↔ compare
- GPT 파인튜닝딥러닝↔ compare
- 랜덤 포레스트머신러닝↔ compare
- 다중 헤드 셀프 어텐션딥러닝↔ compare
- XGBoost머신러닝↔ compare