Механізм уваги

Механізм уваги, представлений Багданау, Чо та Бенджіо у 2015 році та вдосконалений Луонгом, Фам та Меннінгом того ж року, дозволяє декодеру послідовності динамічно вивчати, на які виходи кодера слід зосередитися на кожному кроці. До появи Трансформера він суттєво покращив якість машинного перекладу, звільнивши моделі від необхідності стискати весь вхідний сигнал в один фіксований вектор.