ScholarGate
アシスタント
Machine learning

Multi-Head Self-Attention

Multi-head self-attentionは、2017年にVaswaniらによって導入されたメカニズムであり、シーケンス内の各位置が他のすべての位置との関係を並列に計算することを可能にします。これはTransformerアーキテクチャの中核であり、BERT、GPT、T5の基盤となっています。

MethodMindで開く近日公開動画近日公開Download slides

手法の全文を読む

会員限定

無料アカウントでログインすると、このセクションを読めます。

ログイン

Method map

The neighbourhood of related methods — select a node to explore.

Multi-Head Self-Attention
BERTファインチューニングGPTファインチューニングLoRAとPEFTランダムフォレストXGBoostアテンションメカニズムBidirectional RNN検索拡張生成（Retrieval-Augment…シーケンス・ツー・シーケンスモデル

出典

  1. Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS. link ↗
  2. Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL. link ↗

このページの引用方法

ScholarGate. (2026, June 1). Multi-Head Self-Attention (Transformer Core). ScholarGate. https://scholargate.app/ja/deep-learning/self-attention-transformer

Which method?

Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.

Compare side by side →

この手法を参照する項目

アテンションメカニズムBidirectional RNN検索拡張生成（Retrieval-Augmented Generation, RAG）シーケンス・ツー・シーケンスモデル

このページに誤りを見つけましたか?報告・修正提案 →

ScholarGate — Self-Attention (Multi-Head Self-Attention (Transformer Core)). 2026-06-15に以下より取得 https://scholargate.app/ja/deep-learning/self-attention-transformer · データセット: https://doi.org/10.5281/zenodo.20539026