Registro de evidencia del método
Self-Attention
Multi-head self-attention, introduced by Vaswani and colleagues in 2017, is the mechanism that lets every position in a sequence compute its relationship to all other positions in parallel. It is the core of the Transformer architecture and the foundation underneath BERT, GPT, and T5.
Registro de origen
Citas copiadas textualmente del registro de origen del método. No se infiere ninguna verificación a nivel de afirmación de ellas.
Multi-Head Self-Attention (Transformer Core)
Registro del método taxonómico · ml-model / deep-learning
- Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS. · URL
- Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL. · URL
Afirmaciones curadas
Afirmaciones persistidas en el libro mayor de evidencia, cada una con su propia evaluación.
Aún no hay afirmaciones curadas
Esta vista no inventa una evaluación de afirmación si el libro mayor no tiene ninguna.
Métodos relacionados
Generado a partir del grafo de métodos y mostrado como relaciones sugeridas por la máquina; no se infiere ninguna afirmación de evidencia.