Mechanizm uwagi
Mechanizm uwagi, wprowadzony przez Bahdanau, Cho i Bengio w 2015 roku i udoskonalony przez Luong, Pham i Manning w tym samym roku, pozwala dekoderowi sekwencji dynamicznie uczyć się, na których wyjściach kodera skupić się na każdym kroku. Przed architekturą Transformer, znacząco poprawił jakość tłumaczenia maszynowego, uwalniając modele od konieczności kompresowania całego wejścia do jednego, ustalonego wektora.
Przeczytaj pełny opis metody
Zaloguj się na bezpłatne konto, aby przeczytać tę sekcję.
Method map
The neighbourhood of related methods — select a node to explore.
+3 more
Źródła
- Bahdanau, D., Cho, K. & Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. ICLR. link ↗
- Luong, M.T., Pham, H. & Manning, C.D. (2015). Effective Approaches to Attention-based Neural Machine Translation. EMNLP, 1412–1421. DOI: 10.18653/v1/D15-1166 ↗
Jak cytować tę stronę
ScholarGate. (2026, June 1). Attention Mechanism (Bahdanau / Luong Attention). ScholarGate. https://scholargate.app/pl/deep-learning/attention-mechanism
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Dostrajanie BERTUczenie głębokie↔ compare
- Dostrajanie GPTUczenie głębokie↔ compare
- Random ForestUczenie maszynowe↔ compare
- Multi-Head Self-AttentionUczenie głębokie↔ compare
- XGBoostUczenie maszynowe↔ compare
Cytowana przez
Widzisz błąd na tej stronie? Zgłoś go lub zaproponuj poprawkę →