Mekanizmi i vëmendjes
Mekanizmi i vëmendjes, i prezantuar nga Bahdanau, Cho dhe Bengio në vitin 2015 dhe i rafinuar nga Luong, Pham dhe Manning në të njëjtin vit, lejon një dekoder sekuence të mësojë në mënyrë dinamike se cilave nga daljet e koduesit t'i kushtojë vëmendje në çdo hap. Para Transformer-it, ai përmirësoi ndjeshëm cilësinë e përkthimit makinerik duke liruar modelet nga detyra e kompresimit të një hyrjeje të tërë në një vektor fiks të vetëm.
Lexoni metodën e plotë
Hyni me një llogari falas për ta lexuar këtë seksion.
Method map
The neighbourhood of related methods — select a node to explore.
+3 more
Burimet
- Bahdanau, D., Cho, K. & Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. ICLR. link ↗
- Luong, M.T., Pham, H. & Manning, C.D. (2015). Effective Approaches to Attention-based Neural Machine Translation. EMNLP, 1412–1421. DOI: 10.18653/v1/D15-1166 ↗
Si ta citoni këtë faqe
ScholarGate. (2026, June 1). Attention Mechanism (Bahdanau / Luong Attention). ScholarGate. https://scholargate.app/sq/deep-learning/attention-mechanism
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Përshtatja e BERTMësimi i thellë↔ compare
- Përsosja e GPT (GPT Fine-Tuning)Mësimi i thellë↔ compare
- Pylli i RastësishëmMësimi i makinës↔ compare
- Vetë-vëmendja me shumë kokaMësimi i thellë↔ compare
- XGBoostMësimi i makinës↔ compare
Cituar nga
Vutë re një problem në këtë faqe? Raportojeni ose sugjeroni një korrigjim →