Mecanisme d'atenció
El mecanisme d'atenció, introduït per Bahdanau, Cho i Bengio el 2015 i refinat per Luong, Pham i Manning el mateix any, permet a un descodificador de seqüències aprendre dinàmicament en quines de les sortides de l'codificador centrar-se a cada pas. Abans del Transformer, va millorar substancialment la qualitat de la traducció automàtica alliberant els models de la compressió d'una entrada completa en un únic vector fix.
Llegeix el mètode complet
Inicia la sessió amb un compte gratuït per llegir aquesta secció.
Method map
The neighbourhood of related methods — select a node to explore.
+3 more
Fonts
- Bahdanau, D., Cho, K. & Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. ICLR. link ↗
- Luong, M.T., Pham, H. & Manning, C.D. (2015). Effective Approaches to Attention-based Neural Machine Translation. EMNLP, 1412–1421. DOI: 10.18653/v1/D15-1166 ↗
Com citar aquesta pàgina
ScholarGate. (2026, June 1). Attention Mechanism (Bahdanau / Luong Attention). ScholarGate. https://scholargate.app/ca/deep-learning/attention-mechanism
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Ajustament BERTAprenentatge profund↔ compare
- Ajustament fi de GPTAprenentatge profund↔ compare
- Random ForestAprenentatge automàtic↔ compare
- Autoatenció multi-capAprenentatge profund↔ compare
- XGBoostAprenentatge automàtic↔ compare
Citat per
Has vist cap problema en aquesta pàgina? Informa'n o suggereix una correcció →