Mechanismus pozornosti
Mechanismus pozornosti, zavedený Bahdanauem, Choem a Bengiem v roce 2015 a zdokonalený Luongem, Phamem a Manningem téhož roku, umožňuje dekodéru sekvencí dynamicky se učit, na které výstupy kodéru se má v každém kroku zaměřit. Před Transformerem podstatně zlepšil kvalitu strojového překladu tím, že modely osvobodil od komprimace celého vstupu do jediného pevného vektoru.
Přečíst celou metodu
Pro přečtení této sekce se přihlaste s bezplatným účtem.
Method map
The neighbourhood of related methods — select a node to explore.
+3 more
Zdroje
- Bahdanau, D., Cho, K. & Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. ICLR. link ↗
- Luong, M.T., Pham, H. & Manning, C.D. (2015). Effective Approaches to Attention-based Neural Machine Translation. EMNLP, 1412–1421. DOI: 10.18653/v1/D15-1166 ↗
Jak citovat tuto stránku
ScholarGate. (2026, June 1). Attention Mechanism (Bahdanau / Luong Attention). ScholarGate. https://scholargate.app/cs/deep-learning/attention-mechanism
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Dolaďování modelu BERTHluboké učení↔ compare
- Dolaďování GPTHluboké učení↔ compare
- Random ForestStrojové učení↔ compare
- Multi-Head Self-AttentionHluboké učení↔ compare
- XGBoostStrojové učení↔ compare
Odkazuje sem
Našli jste na této stránce chybu? Nahlaste ji nebo navrhněte opravu →