ScholarGate
Asystent
Machine learning

Multi-Head Self-Attention

Mechanizm wielogłowicowej samoatencji (Multi-Head Self-Attention), wprowadzony przez Vaswani i współpracowników w 2017 roku, pozwala każdej pozycji w sekwencji na równoległe obliczanie jej relacji ze wszystkimi innymi pozycjami. Jest to rdzeń architektury Transformer i podstawa modeli BERT, GPT i T5.

Otwórz w MethodMindWkrótceWideoWkrótceDownload slides

Przeczytaj pełny opis metody

Tylko dla członków

Zaloguj się na bezpłatne konto, aby przeczytać tę sekcję.

Zaloguj się

Method map

The neighbourhood of related methods — select a node to explore.

Multi-Head Self-Attention
Dostrajanie BERTDostrajanie GPTLoRA i PEFTRandom ForestXGBoostMechanizm uwagiDwukierunkowa sieć rekur…Retrieval-Augmented Gene…Model sekwencyjny do sek…

Źródła

  1. Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS. link ↗
  2. Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL. link ↗

Jak cytować tę stronę

ScholarGate. (2026, June 1). Multi-Head Self-Attention (Transformer Core). ScholarGate. https://scholargate.app/pl/deep-learning/self-attention-transformer

Which method?

Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.

Compare side by side →

Cytowana przez

Mechanizm uwagiDwukierunkowa sieć rekurencyjnaRetrieval-Augmented Generation (RAG) (Generowanie Wzbogacone o Wyszukiwanie)Model sekwencyjny do sekwencyjnego (Seq2Seq)

Widzisz błąd na tej stronie? Zgłoś go lub zaproponuj poprawkę →

ScholarGate — Self-Attention (Multi-Head Self-Attention (Transformer Core)). Pobrano 2026-06-15 z https://scholargate.app/pl/deep-learning/self-attention-transformer · Zbiór danych: https://doi.org/10.5281/zenodo.20539026