Запись доказательств метода
Self-Attention
Multi-head self-attention, introduced by Vaswani and colleagues in 2017, is the mechanism that lets every position in a sequence compute its relationship to all other positions in parallel. It is the core of the Transformer architecture and the foundation underneath BERT, GPT, and T5.
Исходная запись
Цитирование скопировано дословно из исходной записи метода. На его основании не делается никаких выводов о проверке на уровне утверждения.
Multi-Head Self-Attention (Transformer Core)
Таксономическая запись метода · ml-model / deep-learning
- Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS. · URL
- Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL. · URL
Курируемые утверждения
Утверждения сохранены в реестре доказательств, каждое со своей оценкой.
Курируемых утверждений еще нет
Этот вид не создает оценку утверждения, если в реестре ее нет.
Связанные методы
Сгенерировано из графа методов и показано как предложенные машиной связи — никаких выводов об утверждениях доказательств не делается.