Metodebevisregister
Self-Attention
Multi-head self-attention, introduced by Vaswani and colleagues in 2017, is the mechanism that lets every position in a sequence compute its relationship to all other positions in parallel. It is the core of the Transformer architecture and the foundation underneath BERT, GPT, and T5.
Kilderegister
Siteringer kopiert ordrett fra metodens kilderegister. Ingen påstandsnivåverifisering er underforstått fra dem.
Multi-Head Self-Attention (Transformer Core)
Taksonomisk metoderegister · ml-model / deep-learning
- Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS. · URL
- Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL. · URL
Kuraterte påstander
Påstander lagret i bevishovedboken, hver med sin egen vurdering.
Ingen kuraterte påstander ennå
Denne visningen finner ikke opp en påstandsvurdering når hovedboken ikke har noen.
Relaterte metoder
Generert fra metodegrafen og vist som maskinforslåtte relasjoner – ingen bevispåstand er underforstått.