ScholarGate
Asistent
Machine learning

Multi-Head Self-Attention

Multi-head self-attention, představená Vaswanim a kolektivem v roce 2017, je mechanismus, který umožňuje každé pozici v sekvenci paralelně vypočítat její vztah ke všem ostatním pozicím. Je jádrem architektury Transformer a základem modelů BERT, GPT a T5.

Otevřít v MethodMindJiž brzyVideoJiž brzyDownload slides

Přečíst celou metodu

Pouze pro členy

Pro přečtení této sekce se přihlaste s bezplatným účtem.

Přihlásit se

Method map

The neighbourhood of related methods — select a node to explore.

Multi-Head Self-Attention
Dolaďování modelu BERTDolaďování GPTLoRA a PEFTRandom ForestXGBoostMechanismus pozornostiObousměrná rekurentní ne…Generování s rozšířeným…Model sekvence-sekvence

Zdroje

  1. Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS. link ↗
  2. Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL. link ↗

Jak citovat tuto stránku

ScholarGate. (2026, June 1). Multi-Head Self-Attention (Transformer Core). ScholarGate. https://scholargate.app/cs/deep-learning/self-attention-transformer

Which method?

Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.

Compare side by side →

Odkazuje sem

Mechanismus pozornostiObousměrná rekurentní neuronová síťGenerování s rozšířeným vyhledáváním (RAG)Model sekvence-sekvence

Našli jste na této stránce chybu? Nahlaste ji nebo navrhněte opravu →

ScholarGate — Self-Attention (Multi-Head Self-Attention (Transformer Core)). Získáno 2026-06-15 z https://scholargate.app/cs/deep-learning/self-attention-transformer · Datová sada: https://doi.org/10.5281/zenodo.20539026