Attention Mechanism (Bahdanau / Luong Attention)
Kiondezaji-kiondezaji cha kawaida husawazisha mfuatano mzima wa ingizo katika vekta moja ya muktadha iliyowekwa, ambayo huwa kikwazo kwa mfuatano mrefu. Uzingatiaji huondoa kikwazo hicho: katika kila hatua ya utoaji, kiondezaji hurudi nyuma kuangalia majimbo yote ya mtoaji na kuhesabu mchanganyiko wenye uzito, kikizingatia sana nafasi chache ambazo ni muhimu kwa neno ambalo linakaribia kuzalisha. Ni kama mtafsiri anayerudi nyuma kuangalia maneno muhimu zaidi ya chanzo badala ya kujaribu kukumbuka sentensi nzima mara moja.
Soma mbinu kamili
Ingia kwa akaunti ya bure ili kusoma sehemu hii.
Ramani ya mbinu
Jirani ya mbinu zinazohusiana — chagua nodi ili kuchunguza.
+3 zaidi
Vyanzo
- Bahdanau, D., Cho, K. & Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. ICLR. link ↗
- Luong, M.T., Pham, H. & Manning, C.D. (2015). Effective Approaches to Attention-based Neural Machine Translation. EMNLP, 1412–1421. DOI: 10.18653/v1/D15-1166 ↗
Jinsi ya kunukuu ukurasa huu
ScholarGate. (2026, June 1). Attention Mechanism (Bahdanau / Luong Attention). ScholarGate. https://scholargate.app/sw/deep-learning/attention-mechanism
Mbinu ipi?
Weka mbinu hii kando ya jamaa zake wa karibu na uzisome bega kwa bega — maktaba huweka vitabu mezani; uamuzi ni wako.
- Urekebishaji wa BERTUjifunzaji wa Kina↔ linganisha
- Utekelezaji wa GPT (GPT Fine-Tuning)Ujifunzaji wa Kina↔ linganisha
- Msitu NasibuUjifunzaji wa Mashine↔ linganisha
- Uzingatio-mkuu wa nafsi (Multi-Head Self-Attention)Ujifunzaji wa Kina↔ linganisha
- XGBoostUjifunzaji wa Mashine↔ linganisha
Imerejelewa na
Umeona tatizo kwenye ukurasa huu? Ripoti au pendekeza marekebisho →