Metodbevispost
Self-Attention
Multi-head self-attention, introduced by Vaswani and colleagues in 2017, is the mechanism that lets every position in a sequence compute its relationship to all other positions in parallel. It is the core of the Transformer architecture and the foundation underneath BERT, GPT, and T5.
Källpost
Citat kopierade ordagrant från metodens källpost. Ingen verifiering på källnivå härleds från dem.
Multi-Head Self-Attention (Transformer Core)
Taxonomisk metodpost · ml-model / deep-learning
- Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS. · URL
- Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL. · URL
Kuraterade påståenden
Påståenden lagrade i bevisloggen, var och en med sin egen bedömning.
Inga kuraterade påståenden ännu
Denna vy hittar inte på en påståendebedömning när loggen saknar en.
Relaterade metoder
Genererade från metodgrafen och visade som maskinföreslagna relationer – inga bevispåståenden härleds.