Catatan bukti metode
Self-Attention
Multi-head self-attention, introduced by Vaswani and colleagues in 2017, is the mechanism that lets every position in a sequence compute its relationship to all other positions in parallel. It is the core of the Transformer architecture and the foundation underneath BERT, GPT, and T5.
Catatan sumber
Kutipan disalin apa adanya dari catatan sumber metode. Tidak ada verifikasi tingkat klaim yang disimpulkan darinya.
Multi-Head Self-Attention (Transformer Core)
Catatan metode taksonomi · ml-model / deep-learning
- Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS. · URL
- Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL. · URL
Klaim yang dikurasi
Klaim tersimpan dalam buku besar bukti, masing-masing dengan penilaiannya sendiri.
Belum ada klaim yang dikurasi
Tampilan ini tidak menciptakan penilaian klaim ketika buku besar tidak memilikinya.
Metode terkait
Dihasilkan dari grafik metode dan ditampilkan sebagai relasi yang disarankan mesin — tidak ada klaim bukti yang disimpulkan.