Attention Mechanism
The attention mechanism, introduced by Bahdanau, Cho and Bengio in 2015 and refined by Luong, Pham and Manning the same year, lets a sequence decoder dynamically learn which of the encoder's outputs to focus on at each step. Before the Transformer, it substantially improved machine-translation quality by freeing models from compressing an entire input into a single fixed vector.
Registro de origen
Citas copiadas textualmente del registro de origen del método. No se infiere ninguna verificación a nivel de afirmación de ellas.
- Bahdanau, D., Cho, K. & Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. ICLR. · URL
- Luong, M.T., Pham, H. & Manning, C.D. (2015). Effective Approaches to Attention-based Neural Machine Translation. EMNLP, 1412–1421. · DOI 10.18653/v1/D15-1166
Afirmaciones curadas
Afirmaciones persistidas en el libro mayor de evidencia, cada una con su propia evaluación.
Esta vista no inventa una evaluación de afirmación si el libro mayor no tiene ninguna.
Métodos relacionados
Generado a partir del grafo de métodos y mostrado como relaciones sugeridas por la máquina; no se infiere ninguna afirmación de evidencia.