Многоглаво самовнимание
Многоглавото самовнимание (multi-head self-attention), въведено от Васвани и колеги през 2017 г., е механизмът, който позволява на всяка позиция в дадена последователност да изчислява връзката си с всички останали позиции паралелно. То е в основата на архитектурата Transformer и е фундаментът, върху който са изградени BERT, GPT и T5.
Прочетете целия метод
Влезте с безплатен профил, за да прочетете този раздел.
Method map
The neighbourhood of related methods — select a node to explore.
Източници
Как да цитирате тази страница
ScholarGate. (2026, June 1). Multi-Head Self-Attention (Transformer Core). ScholarGate. https://scholargate.app/bg/deep-learning/self-attention-transformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Финна настройка на BERTДълбоко обучение↔ compare
- Фината настройка на GPT (GPT Fine-Tuning)Дълбоко обучение↔ compare
- LoRA и PEFTДълбоко обучение↔ compare
- Случайна гораМашинно обучение↔ compare
- XGBoostМашинно обучение↔ compare
Цитиран в
Забелязахте ли проблем на тази страница? Съобщете или предложете поправка →