手法証拠記録
Self-Attention
Multi-head self-attention, introduced by Vaswani and colleagues in 2017, is the mechanism that lets every position in a sequence compute its relationship to all other positions in parallel. It is the core of the Transformer architecture and the foundation underneath BERT, GPT, and T5.
出典記録
引用は手法の出典記録からそのままコピーされています。それらからレベルごとの検証は推論されません。
Multi-Head Self-Attention (Transformer Core)
分類的手法記録 · ml-model / deep-learning
- Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS. · URL
- Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL. · URL
キュレーションされた主張
主張は証拠台帳に永続化され、それぞれが独自の評価を持っています。
まだキュレーションされた主張はありません
このビューは、台帳に主張評価がない場合、主張評価を生成しません。
関連手法
手法グラフから生成され、機械が提案した関係として表示されます — 証拠主張は推論されません。