Mekanisme Perhatian

Mekanisme perhatian, yang diperkenalkan oleh Bahdanau, Cho dan Bengio pada tahun 2015 dan disempurnakan oleh Luong, Pham dan Manning pada tahun yang sama, membolehkan penyahkod jujukan secara dinamik mempelajari output pengekod yang perlu diberi tumpuan pada setiap langkah. Sebelum Transformer, ia meningkatkan kualiti terjemahan mesin secara ketara dengan membebaskan model daripada memampatkan keseluruhan input kepada satu vektor tetap.