Attention Mechanism (Bahdanau / Luong Attention)
Een standaard encoder-decoder perst een volledige inputsequentie samen tot één vaste contextvector, wat een knelpunt wordt voor lange sequenties. Attention verwijdert dat knelpunt: bij elke outputstap kijkt de decoder terug over alle encoderstatussen en berekent een gewogen mengeling, waarbij sterk geleund wordt op de paar posities die ertoe doen voor het woord dat het op het punt staat te produceren. Het is alsof een vertaler terugkijkt naar de meest relevante bronwoorden in plaats van te proberen de hele zin in één keer te onthouden.
Lees de volledige methode
Log in met een gratis account om dit onderdeel te lezen.
Method map
The neighbourhood of related methods — select a node to explore.
+3 more
Bronnen
- Bahdanau, D., Cho, K. & Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. ICLR. link ↗
- Luong, M.T., Pham, H. & Manning, C.D. (2015). Effective Approaches to Attention-based Neural Machine Translation. EMNLP, 1412–1421. DOI: 10.18653/v1/D15-1166 ↗
Deze pagina citeren
ScholarGate. (2026, June 1). Attention Mechanism (Bahdanau / Luong Attention). ScholarGate. https://scholargate.app/nl/deep-learning/attention-mechanism
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- BERT Fine-TuningDeep learning↔ compare
- GPT Fine-TuningDeep learning↔ compare
- Random ForestMachine learning↔ compare
- Multi-Head Self-AttentionDeep learning↔ compare
- XGBoostMachine learning↔ compare
Geciteerd door
Een fout op deze pagina gezien? Meld het of stel een correctie voor →