ระเบียนหลักฐานวิธีดำเนินการ
Self-Attention
Multi-head self-attention, introduced by Vaswani and colleagues in 2017, is the mechanism that lets every position in a sequence compute its relationship to all other positions in parallel. It is the core of the Transformer architecture and the foundation underneath BERT, GPT, and T5.
ระเบียนต้นฉบับ
การอ้างอิงถูกคัดลอกตามต้นฉบับจากระเบียนต้นฉบับของวิธีดำเนินการ ไม่มีการอ้างสิทธิ์ในระดับการตรวจสอบใด ๆ ที่อนุมานได้จากสิ่งเหล่านี้
Multi-Head Self-Attention (Transformer Core)
ระเบียนวิธีดำเนินการตามอนุกรมวิธาน · ml-model / deep-learning
- Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS. · URL
- Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL. · URL
ข้อเรียกร้องที่ดูแลจัดการ
ข้อเรียกร้องถูกจัดเก็บไว้ในบัญชีแยกประเภทหลักฐาน โดยแต่ละรายการมีชุดการประเมินของตนเอง
ยังไม่มีข้อเรียกร้องที่ดูแลจัดการ
มุมมองนี้ไม่ได้สร้างการประเมินข้อเรียกร้องขึ้นมาเมื่อบัญชีแยกประเภทไม่มี
วิธีดำเนินการที่เกี่ยวข้อง
สร้างจากกราฟวิธีดำเนินการและแสดงเป็นความสัมพันธ์ที่แนะนำโดยเครื่องจักร — ไม่มีการอ้างสิทธิ์หลักฐานใด ๆ ที่อนุมานได้