Механизм внимания
Механизм внимания, представленный Bahdanau, Cho и Bengio в 2015 году и усовершенствованный Luong, Pham и Manning в том же году, позволяет декодеру последовательности динамически изучать, на какие выходы энкодера следует обращать внимание на каждом шаге. До появления Transformer он существенно улучшил качество машинного перевода, освободив модели от необходимости сжимать весь вход в один фиксированный вектор.
Читать метод полностью
Войдите с бесплатным аккаунтом, чтобы прочитать этот раздел.
Карта метода
Окружение родственных методов — выберите узел, чтобы перейти к нему.
+ ещё 3
Источники
- Bahdanau, D., Cho, K. & Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. ICLR. link ↗
- Luong, M.T., Pham, H. & Manning, C.D. (2015). Effective Approaches to Attention-based Neural Machine Translation. EMNLP, 1412–1421. DOI: 10.18653/v1/D15-1166 ↗
Как цитировать эту страницу
ScholarGate. (2026, June 1). Attention Mechanism (Bahdanau / Luong Attention). ScholarGate. https://scholargate.app/ru/deep-learning/attention-mechanism
Какой метод?
Поставьте этот метод рядом с ближайшими родственными и прочитайте их бок о бок — библиотека выкладывает книги на стол, а выбор за вами.
- Дообучение BERTГлубокое обучение↔ сравнить
- Тонкая настройка GPTГлубокое обучение↔ сравнить
- Случайный лесМашинное обучение↔ сравнить
- Многоголовочное самовниманиеГлубокое обучение↔ сравнить
- XGBoostМашинное обучение↔ сравнить
Упоминается в
Нашли ошибку на этой странице? Сообщите о ней или предложите исправление →