Mécanisme d'attention
Le mécanisme d'attention, introduit par Bahdanau, Cho et Bengio en 2015 et affiné par Luong, Pham et Manning la même année, permet à un décodeur de séquence d'apprendre dynamiquement sur quelles sorties de l'encodeur se concentrer à chaque étape. Avant le Transformer, il a considérablement amélioré la qualité de la traduction automatique en libérant les modèles de la compression d'une entrée entière en un seul vecteur fixe.
Lire la méthode complète
Connectez-vous avec un compte gratuit pour lire cette section.
Method map
The neighbourhood of related methods — select a node to explore.
+3 more
Sources
- Bahdanau, D., Cho, K. & Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. ICLR. link ↗
- Luong, M.T., Pham, H. & Manning, C.D. (2015). Effective Approaches to Attention-based Neural Machine Translation. EMNLP, 1412–1421. DOI: 10.18653/v1/D15-1166 ↗
Comment citer cette page
ScholarGate. (2026, June 1). Attention Mechanism (Bahdanau / Luong Attention). ScholarGate. https://scholargate.app/fr/deep-learning/attention-mechanism
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Ajustement fin de BERTApprentissage profond↔ compare
- Ajustement fin de GPTApprentissage profond↔ compare
- Forêt AléatoireApprentissage automatique↔ compare
- Auto-attention multi-têtesApprentissage profond↔ compare
- XGBoostApprentissage automatique↔ compare
Référencée par
Une erreur sur cette page ? Signalez-la ou proposez une correction →