Uppmärksamhetsmekanism
Uppmärksamhetsmekanismen, introducerad av Bahdanau, Cho och Bengio 2015 och förfinad av Luong, Pham och Manning samma år, låter en sekvensavkodare dynamiskt lära sig vilka av kodarens utdata den ska fokusera på vid varje steg. Före Transformer förbättrade den maskinöversättningskvaliteten avsevärt genom att befria modeller från att komprimera hela indatan till en enda fixerad vektor.
Läs hela metoden
Logga in med ett kostnadsfritt konto för att läsa avsnittet.
Method map
The neighbourhood of related methods — select a node to explore.
+3 more
Källor
- Bahdanau, D., Cho, K. & Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. ICLR. link ↗
- Luong, M.T., Pham, H. & Manning, C.D. (2015). Effective Approaches to Attention-based Neural Machine Translation. EMNLP, 1412–1421. DOI: 10.18653/v1/D15-1166 ↗
Så citerar du den här sidan
ScholarGate. (2026, June 1). Attention Mechanism (Bahdanau / Luong Attention). ScholarGate. https://scholargate.app/sv/deep-learning/attention-mechanism
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- BERT-finjusteringDjupinlärning↔ compare
- Finjustering av GPTDjupinlärning↔ compare
- Random ForestMaskininlärning↔ compare
- Multi-Head Self-AttentionDjupinlärning↔ compare
- XGBoostMaskininlärning↔ compare
Refereras av
Hittade du ett fel på sidan? Rapportera eller föreslå en rättelse →