ScholarGate
Ассистент
Machine learning

Многоголовочное самовнимание

Многоголовочное самовнимание (Multi-head self-attention), представленное Вазвани и его коллегами в 2017 году, представляет собой механизм, который позволяет каждой позиции в последовательности параллельно вычислять свою взаимосвязь со всеми другими позициями. Это ядро архитектуры Transformer и основа BERT, GPT и T5.

Открыть в MethodMindСкороВидеоСкороDownload slides

Читать метод полностью

Только для участников

Войдите с бесплатным аккаунтом, чтобы прочитать этот раздел.

Войти

Method map

The neighbourhood of related methods — select a node to explore.

Многоголовочное самовнимание
Дообучение BERTТонкая настройка GPTLoRA и PEFTСлучайный лесXGBoostМеханизм вниманияДвунаправленная РНСГенерация с дополненной…Модель «последовательнос…

Источники

  1. Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS. link ↗
  2. Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL. link ↗

Как цитировать эту страницу

ScholarGate. (2026, June 1). Multi-Head Self-Attention (Transformer Core). ScholarGate. https://scholargate.app/ru/deep-learning/self-attention-transformer

Which method?

Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.

Compare side by side →

Упоминается в

Механизм вниманияДвунаправленная РНСГенерация с дополненной выборкой (Retrieval-Augmented Generation, RAG)Модель «последовательность к последовательности»

Нашли ошибку на этой странице? Сообщите о ней или предложите исправление →

ScholarGate — Self-Attention (Multi-Head Self-Attention (Transformer Core)). Получено 2026-06-15 из https://scholargate.app/ru/deep-learning/self-attention-transformer · Набор данных: https://doi.org/10.5281/zenodo.20539026