Opmærksomhedsmekanisme
Opmærksomhedsmekanismen, introduceret af Bahdanau, Cho og Bengio i 2015 og forfinet af Luong, Pham og Manning samme år, lader en sekvensdekoder dynamisk lære, hvilke af enkoderens output den skal fokusere på ved hvert trin. Før Transformer forbedrede den maskinoversættelseskvaliteten væsentligt ved at frigøre modeller fra at komprimere hele inputtet til en enkelt fast vektor.
Læs hele metoden
Log ind med en gratis konto for at læse dette afsnit.
Method map
The neighbourhood of related methods — select a node to explore.
+3 more
Kilder
- Bahdanau, D., Cho, K. & Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. ICLR. link ↗
- Luong, M.T., Pham, H. & Manning, C.D. (2015). Effective Approaches to Attention-based Neural Machine Translation. EMNLP, 1412–1421. DOI: 10.18653/v1/D15-1166 ↗
Sådan citerer du denne side
ScholarGate. (2026, June 1). Attention Mechanism (Bahdanau / Luong Attention). ScholarGate. https://scholargate.app/da/deep-learning/attention-mechanism
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- BERT FinjusteringDyb læring↔ compare
- GPT FinjusteringDyb læring↔ compare
- Random ForestMaskinlæring↔ compare
- Multi-Head Self-AttentionDyb læring↔ compare
- XGBoostMaskinlæring↔ compare
Refereret af
Har du fundet en fejl på denne side? Indberet den eller foreslå en rettelse →