Machine learning
アテンションメカニズム
アテンションメカニズムは、2015年にBahdanau、Cho、Bengioによって導入され、同年にはLuong、Pham、Manningによって洗練されたもので、シーケンスデコーダーが各ステップでエンコーダーのどの出力を重視するかを動的に学習できるようにするものです。Transformer以前は、入力全体を単一の固定ベクトルに圧縮するという制約からモデルを解放することで、機械翻訳の品質を大幅に向上させました。
手法の全文を読む
会員限定
ログイン無料アカウントでログインすると、このセクションを読めます。
手法マップ
関連する手法の近傍 — ノードを選択して探索できます。
他 3 件
出典
- Bahdanau, D., Cho, K. & Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. ICLR. link ↗
- Luong, M.T., Pham, H. & Manning, C.D. (2015). Effective Approaches to Attention-based Neural Machine Translation. EMNLP, 1412–1421. DOI: 10.18653/v1/D15-1166 ↗
このページの引用方法
ScholarGate. (2026, June 1). Attention Mechanism (Bahdanau / Luong Attention). ScholarGate. https://scholargate.app/ja/deep-learning/attention-mechanism
どの手法を選ぶ？
この手法を最も近い類縁の手法と並べ、両者を見比べてください — ライブラリは本を机の上に並べるだけ。選ぶのはあなたです。
- BERTファインチューニング深層学習↔ 比較
- GPTファインチューニング深層学習↔ 比較
- ランダムフォレスト機械学習↔ 比較
- Multi-Head Self-Attention深層学習↔ 比較
- XGBoost機械学習↔ 比較