Înregistrare dovezi metodologice
Self-Attention
Multi-head self-attention, introduced by Vaswani and colleagues in 2017, is the mechanism that lets every position in a sequence compute its relationship to all other positions in parallel. It is the core of the Transformer architecture and the foundation underneath BERT, GPT, and T5.
Înregistrare sursă
Citările sunt copiate integral din înregistrarea sursă a metodei. Nu se inferă nicio verificare la nivel de afirmație din acestea.
Multi-Head Self-Attention (Transformer Core)
Înregistrare metodologică taxonomică · ml-model / deep-learning
- Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS. · URL
- Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL. · URL
Afirmații curate
Afirmațiile sunt stocate în registrul dovezilor, fiecare cu propria evaluare.
Încă nu există afirmații curate
Această vizualizare nu inventează o evaluare a afirmației dacă registrul nu conține una.
Metode conexe
Generate din graful metodelor și afișate ca relații sugerate automat — nu se inferă nicio afirmație de dovadă.