Perhatian Kendiri Pelbagai Kepala
Perhatian kendiri pelbagai kepala, diperkenalkan oleh Vaswani dan rakan-rakan pada tahun 2017, ialah mekanisme yang membolehkan setiap posisi dalam jujukan mengira hubungannya dengan semua posisi lain secara selari. Ia adalah teras seni bina Transformer dan asas di sebalik BERT, GPT, dan T5.
Baca kaedah sepenuhnya
Log masuk dengan akaun percuma untuk membaca bahagian ini.
Method map
The neighbourhood of related methods — select a node to explore.
Sumber
Cara memetik halaman ini
ScholarGate. (2026, June 1). Multi-Head Self-Attention (Transformer Core). ScholarGate. https://scholargate.app/ms/deep-learning/self-attention-transformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Fine-Tuning BERTPembelajaran Mendalam↔ compare
- Penalaan Halus GPTPembelajaran Mendalam↔ compare
- LoRA dan PEFTPembelajaran Mendalam↔ compare
- Random ForestPembelajaran Mesin↔ compare
- XGBoostPembelajaran Mesin↔ compare
Dirujuk oleh
Terjumpa masalah pada halaman ini? Laporkan atau cadangkan pembetulan →