Tähelepanu mehhanism
Tähelepanu mehhanism, mille võtsid kasutusele Bahdanau, Cho ja Bengio 2015. aastal ning mida täiustasid Luong, Pham ja Manning samal aastal, laseb jada dekoodril dünaamiliselt õppida, millele enkoodri väljunditest iga sammu juures keskenduda. Enne Transformerit parandas see masintõlke kvaliteeti märkimisväärselt, vabastades mudelid kogu sisendi survestamisest ühte fikseeritud vektorisse.
Loe meetodi täielikku kirjeldust
Selle osa lugemiseks logi sisse tasuta kontoga.
Method map
The neighbourhood of related methods — select a node to explore.
+3 more
Allikad
- Bahdanau, D., Cho, K. & Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. ICLR. link ↗
- Luong, M.T., Pham, H. & Manning, C.D. (2015). Effective Approaches to Attention-based Neural Machine Translation. EMNLP, 1412–1421. DOI: 10.18653/v1/D15-1166 ↗
Kuidas sellele lehele viidata
ScholarGate. (2026, June 1). Attention Mechanism (Bahdanau / Luong Attention). ScholarGate. https://scholargate.app/et/deep-learning/attention-mechanism
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- BERT-mudeli täpsustamineSüvaõpe↔ compare
- GPT peenhäälestusSüvaõpe↔ compare
- Juhuslik metsMasinõpe↔ compare
- Mitmepealine enesetähelepanuSüvaõpe↔ compare
- XGBoostMasinõpe↔ compare
Sellele viitavad
Märkasid sellel lehel viga? Teata sellest või paku parandust →