Methodenbewijsdossier
Self-Attention
Multi-head self-attention, introduced by Vaswani and colleagues in 2017, is the mechanism that lets every position in a sequence compute its relationship to all other positions in parallel. It is the core of the Transformer architecture and the foundation underneath BERT, GPT, and T5.
Bronrecord
Citaten letterlijk overgenomen uit het bronrecord van de methode. Hieruit wordt geen verificatie op claimniveau afgeleid.
Multi-Head Self-Attention (Transformer Core)
Taxonomisch methodendossier · ml-model / deep-learning
- Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS. · URL
- Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL. · URL
Gecureerde claims
Claims opgeslagen in het bewijsregister, elk met zijn eigen beoordeling.
Nog geen gecureerde claims
Deze weergave verzint geen claimbeoordeling als het register er geen heeft.
Gerelateerde methoden
Gegenereerd uit de methodegraaf en getoond als machinaal voorgestelde relaties — er wordt geen bewijsclaim afgeleid.