Record di evidenza del metodo
Self-Attention
Multi-head self-attention, introduced by Vaswani and colleagues in 2017, is the mechanism that lets every position in a sequence compute its relationship to all other positions in parallel. It is the core of the Transformer architecture and the foundation underneath BERT, GPT, and T5.
Record di origine
Citazioni copiate testualmente dal record di origine del metodo. Non si inferisce alcuna verifica a livello di affermazione da esse.
Multi-Head Self-Attention (Transformer Core)
Record tassonomico del metodo · ml-model / deep-learning
- Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS. · URL
- Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL. · URL
Affermazioni curate
Affermazioni persistite nel registro delle evidenze, ciascuna con la propria valutazione.
Nessuna affermazione curata ancora
Questa vista non inventa una valutazione dell'affermazione quando il registro non ne ha.
Metodi correlati
Generato dal grafo dei metodi e mostrato come relazioni suggerite dalla macchina — nessuna affermazione di evidenza viene inferita.