Oppmerksomhetsmekanisme
Oppmerksomhetsmekanismen, introdusert av Bahdanau, Cho og Bengio i 2015 og raffinert av Luong, Pham og Manning samme år, lar en sekvensdekoder dynamisk lære hvilke av enkoderens utganger den skal fokusere på ved hvert trinn. Før Transformer forbedret den maskinoversettelseskvaliteten vesentlig ved å frigjøre modeller fra å komprimere en hel inngang til en enkelt fast vektor.
Les hele metoden
Logg inn med en gratis konto for å lese denne delen.
Method map
The neighbourhood of related methods — select a node to explore.
+3 more
Kilder
- Bahdanau, D., Cho, K. & Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. ICLR. link ↗
- Luong, M.T., Pham, H. & Manning, C.D. (2015). Effective Approaches to Attention-based Neural Machine Translation. EMNLP, 1412–1421. DOI: 10.18653/v1/D15-1166 ↗
Slik siterer du denne siden
ScholarGate. (2026, June 1). Attention Mechanism (Bahdanau / Luong Attention). ScholarGate. https://scholargate.app/no/deep-learning/attention-mechanism
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- BERT finjusteringDyp læring↔ compare
- GPT finjusteringDyp læring↔ compare
- Random ForestMaskinlæring↔ compare
- Multi-hode selvoppmerksomhetDyp læring↔ compare
- XGBoostMaskinlæring↔ compare
Referert av
Funnet en feil på denne siden? Rapporter eller foreslå en rettelse →