Attention mechanism
Attention mechanism, koņ kuruņu Bahdanau, Cho un Bengio 2015. gadā un pilnveidots Luong, Pham un Manning tajā pašā gadā, īlauj sekvences dekoderim dinamiski apgūst, kuriem no kodētāja izvades datiem pievērūst uzmanību katrā solī. Pirms Transformer, tas Būtiski uzlaboja mašīntulkošanas kvalitāti, atbrīvojot modeļus no visas īsvades saspiešanas vienā fiksētā vektorā.
Lasīt pilno metodes aprakstu
Piesakieties ar bezmaksas kontu, lai lasītu šo sadaļu.
Method map
The neighbourhood of related methods — select a node to explore.
+3 more
Avoti
- Bahdanau, D., Cho, K. & Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. ICLR. link ↗
- Luong, M.T., Pham, H. & Manning, C.D. (2015). Effective Approaches to Attention-based Neural Machine Translation. EMNLP, 1412–1421. DOI: 10.18653/v1/D15-1166 ↗
Kā citēt šo lapu
ScholarGate. (2026, June 1). Attention Mechanism (Bahdanau / Luong Attention). ScholarGate. https://scholargate.app/lv/deep-learning/attention-mechanism
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- BERT Fine-TuningDziļā mācīšanās↔ compare
- GPT smalkoregulēšanaDziļā mācīšanās↔ compare
- Random ForestMašīnmācīšanās↔ compare
- Daudzgalvu paše-uzmanībaDziļā mācīšanās↔ compare
- XGBoostMašīnmācīšanās↔ compare
Uz to atsaucas
Pamanījāt kļūdu šajā lapā? Ziņojiet vai ierosiniet labojumu →