Mechanizmus pozornosti
Mechanizmus pozornosti, ktorý predstavili Bahdanau, Cho a Bengio v roku 2015 a v tom istom roku ho zdokonalili Luong, Pham a Manning, umožňuje dekodéru sekvencií dynamicky sa učiť, na ktoré výstupy enkodéra sa má v každom kroku zamerať. Pred Transformerom výrazne zlepšil kvalitu strojového prekladu tým, že oslobodil modely od kompresie celého vstupu do jedného pevného vektora.
Prečítať celú metódu
Ak si chcete prečítať túto sekciu, prihláste sa s bezplatným účtom.
Mapa metód
Okolie príbuzných metód — vyberte uzol na preskúmanie.
+3 ďalších
Zdroje
- Bahdanau, D., Cho, K. & Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. ICLR. link ↗
- Luong, M.T., Pham, H. & Manning, C.D. (2015). Effective Approaches to Attention-based Neural Machine Translation. EMNLP, 1412–1421. DOI: 10.18653/v1/D15-1166 ↗
Ako citovať túto stránku
ScholarGate. (2026, June 1). Attention Mechanism (Bahdanau / Luong Attention). ScholarGate. https://scholargate.app/sk/deep-learning/attention-mechanism
Ktorá metóda?
Postavte túto metódu vedľa jej najbližších príbuzných a čítajte ich vedľa seba — knižnica vám knihy položí na stôl; voľba je na vás.
- Jemné doladenie BERTHlboké učenie↔ porovnať
- Dolaďovanie GPTHlboké učenie↔ porovnať
- Náhodný lesStrojové učenie↔ porovnať
- Viac-hlavová vlastná pozornosťHlboké učenie↔ porovnať
- XGBoostStrojové učenie↔ porovnať
Odkazujú sem
Našli ste na tejto stránke chybu? Nahláste ju alebo navrhnite opravu →