Machine learning

Multi-Head Self-Attention

Multi-head self-attention, geïntroduceerd door Vaswani en collega's in 2017, is het mechanisme dat elke positie in een sequentie in staat stelt om parallel de relatie met alle andere posities te berekenen. Het vormt de kern van de Transformer-architectuur en de basis van BERT, GPT en T5.

Openen in MethodMindBinnenkortVideoBinnenkortDownload slides

Lees de volledige methode

Alleen voor leden

Inloggen

Method map

The neighbourhood of related methods — select a node to explore.

Multi-Head Self-Attention

BERT Fine-Tuning GPT Fine-Tuning LoRA en PEFT Random Forest XGBoost Attention Mechanism Bidirectionele RNN Retrieval-Augmented Gene…Sequence-to-Sequence Mod…

Bronnen

Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS. link ↗
Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL. link ↗

Deze pagina citeren

ScholarGate. (2026, June 1). Multi-Head Self-Attention (Transformer Core). ScholarGate. https://scholargate.app/nl/deep-learning/self-attention-transformer

Which method?

Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.

Compare side by side →

Geciteerd door

Attention Mechanism Bidirectionele RNN Retrieval-Augmented Generation (RAG)Sequence-to-Sequence Model

Een fout op deze pagina gezien? Meld het of stel een correctie voor →

Lees de volledige methode

Method map

Bronnen

Deze pagina citeren

Verwante methoden

Which method?

Geciteerd door