Attention Mechanism
The attention mechanism, introduced by Bahdanau, Cho and Bengio in 2015 and refined by Luong, Pham and Manning the same year, lets a sequence decoder dynamically learn which of the encoder's outputs to focus on at each step. Before the Transformer, it substantially improved machine-translation quality by freeing models from compressing an entire input into a single fixed vector.
Record di origine
Citazioni copiate testualmente dal record di origine del metodo. Non si inferisce alcuna verifica a livello di affermazione da esse.
- Bahdanau, D., Cho, K. & Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. ICLR. · URL
- Luong, M.T., Pham, H. & Manning, C.D. (2015). Effective Approaches to Attention-based Neural Machine Translation. EMNLP, 1412–1421. · DOI 10.18653/v1/D15-1166
Affermazioni curate
Affermazioni persistite nel registro delle evidenze, ciascuna con la propria valutazione.
Questa vista non inventa una valutazione dell'affermazione quando il registro non ne ha.
Metodi correlati
Generato dal grafo dei metodi e mostrato come relazioni suggerite dalla macchina — nessuna affermazione di evidenza viene inferita.