Transformer (NLP)

Transformer — это основанная на механизме внимания модель глубокого обучения, представленная Васуани и его коллегами в 2017 году, которая выполняет классификацию текстов, распознавание именованных сущностей и языковое моделирование, позволяя каждому элементу (токену) в последовательности напрямую взаимодействовать с каждым другим элементом. Она заменила более ранние рекуррентные архитектуры механизмом самовнимания, который обрабатывает целые последовательности параллельно.