Meccanismo di Attenzione
Il meccanismo di attenzione, introdotto da Bahdanau, Cho e Bengio nel 2015 e raffinato da Luong, Pham e Manning nello stesso anno, consente a un decoder di sequenza di apprendere dinamicamente su quali output dell'encoder concentrarsi ad ogni passo. Prima del Transformer, ha migliorato sostanzialmente la qualità della traduzione automatica liberando i modelli dalla necessità di comprimere un intero input in un singolo vettore fisso.
Leggi il metodo completo
Accedi con un account gratuito per leggere questa sezione.
Method map
The neighbourhood of related methods — select a node to explore.
+3 more
Fonti
- Bahdanau, D., Cho, K. & Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. ICLR. link ↗
- Luong, M.T., Pham, H. & Manning, C.D. (2015). Effective Approaches to Attention-based Neural Machine Translation. EMNLP, 1412–1421. DOI: 10.18653/v1/D15-1166 ↗
Come citare questa pagina
ScholarGate. (2026, June 1). Attention Mechanism (Bahdanau / Luong Attention). ScholarGate. https://scholargate.app/it/deep-learning/attention-mechanism
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Fine-Tuning di BERTApprendimento profondo↔ compare
- Fine-Tuning di GPTApprendimento profondo↔ compare
- Random ForestApprendimento automatico↔ compare
- Auto-attenzione multi-testaApprendimento profondo↔ compare
- XGBoostApprendimento automatico↔ compare
Citato da
Hai notato un problema in questa pagina? Segnalalo o proponi una correzione →