Mekanisme Perhatian

Mekanisme perhatian, yang diperkenalkan oleh Bahdanau, Cho, dan Bengio pada tahun 2015 dan disempurnakan oleh Luong, Pham, dan Manning pada tahun yang sama, memungkinkan dekoder sekuensial untuk secara dinamis mempelajari keluaran enkoder mana yang harus difokuskan pada setiap langkah. Sebelum Transformer, mekanisme ini secara substansial meningkatkan kualitas terjemahan mesin dengan membebaskan model dari kompresi seluruh masukan menjadi satu vektor tetap.