Механизъм на вниманието
Механизмът на вниманието, въведен от Bahdanau, Cho и Bengio през 2015 г. и усъвършенстван от Luong, Pham и Manning същата година, позволява на декодер на последователности динамично да научи върху кои от изходите на енкодера да се фокусира на всяка стъпка. Преди Transformer, той значително подобри качеството на машинния превод, като освободи моделите от необходимостта да компресират цял входен сигнал в един фиксиран вектор.
Прочетете целия метод
Влезте с безплатен профил, за да прочетете този раздел.
Method map
The neighbourhood of related methods — select a node to explore.
+3 more
Източници
- Bahdanau, D., Cho, K. & Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. ICLR. link ↗
- Luong, M.T., Pham, H. & Manning, C.D. (2015). Effective Approaches to Attention-based Neural Machine Translation. EMNLP, 1412–1421. DOI: 10.18653/v1/D15-1166 ↗
Как да цитирате тази страница
ScholarGate. (2026, June 1). Attention Mechanism (Bahdanau / Luong Attention). ScholarGate. https://scholargate.app/bg/deep-learning/attention-mechanism
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Финна настройка на BERTДълбоко обучение↔ compare
- Фината настройка на GPT (GPT Fine-Tuning)Дълбоко обучение↔ compare
- Случайна гораМашинно обучение↔ compare
- Многоглаво самовниманиеДълбоко обучение↔ compare
- XGBoostМашинно обучение↔ compare
Цитиран в
Забелязахте ли проблем на тази страница? Съобщете или предложете поправка →