Mecanismul de atenție
Mecanismul de atenție, introdus de Bahdanau, Cho și Bengio în 2015 și rafinat de Luong, Pham și Manning în același an, permite unui decodor secvențial să învețe dinamic pe ce ieșiri ale codorului să se concentreze la fiecare pas. Înainte de Transformer, a îmbunătățit substanțial calitatea traducerii automate, eliberând modelele de sarcina de a comprima o întreagă secvență de intrare într-un singur vector fix.
Citește metoda completă
Autentifică-te cu un cont gratuit pentru a citi această secțiune.
Method map
The neighbourhood of related methods — select a node to explore.
+3 more
Surse
- Bahdanau, D., Cho, K. & Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. ICLR. link ↗
- Luong, M.T., Pham, H. & Manning, C.D. (2015). Effective Approaches to Attention-based Neural Machine Translation. EMNLP, 1412–1421. DOI: 10.18653/v1/D15-1166 ↗
Cum se citează această pagină
ScholarGate. (2026, June 1). Attention Mechanism (Bahdanau / Luong Attention). ScholarGate. https://scholargate.app/ro/deep-learning/attention-mechanism
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Reglajul fin BERTÎnvățare profundă↔ compare
- Ajustarea fină a modelelor GPTÎnvățare profundă↔ compare
- Pădurea Aleatoare (Random Forest)Învățare automată↔ compare
- Atenție Multi-Capete (Multi-Head Self-Attention)Învățare profundă↔ compare
- XGBoostÎnvățare automată↔ compare
Citat de
Ai observat o problemă pe această pagină? Raportează sau sugerează o corectură →