Machine learning

Multi-Head Self-Attention

Multi-Head Self-Attention, eingeführt von Vaswani und Kollegen im Jahr 2017, ist der Mechanismus, der es jeder Position in einer Sequenz ermöglicht, ihre Beziehung zu allen anderen Positionen parallel zu berechnen. Es ist der Kern der Transformer-Architektur und die Grundlage von BERT, GPT und T5.

In MethodMind öffnenDemnächstVideoDemnächstDownload slides

Die vollständige Methode lesen

Nur für Mitglieder

Melden Sie sich mit einem kostenlosen Konto an, um diesen Abschnitt zu lesen.

Anmelden

Method map

The neighbourhood of related methods — select a node to explore.

Multi-Head Self-Attention

BERT-Feinabstimmung GPT-Feinabstimmung LoRA und PEFT Random Forest XGBoost Attention Mechanism Bidirectional RNN Retrieval-Augmented Gene…Sequence-to-Sequence Mod…

Quellen

Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS. link ↗
Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL. link ↗

So zitieren Sie diese Seite

ScholarGate. (2026, June 1). Multi-Head Self-Attention (Transformer Core). ScholarGate. https://scholargate.app/de/deep-learning/self-attention-transformer

Which method?

Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.

BERT-FeinabstimmungDeep Learning↔ compare
GPT-FeinabstimmungDeep Learning↔ compare
LoRA und PEFTDeep Learning↔ compare
Random ForestMaschinelles Lernen↔ compare
XGBoostMaschinelles Lernen↔ compare

Compare side by side →

Referenziert von

Attention Mechanism Bidirectional RNN Retrieval-Augmented Generation (RAG)Sequence-to-Sequence Model

Einen Fehler auf dieser Seite entdeckt? Melden oder Korrektur vorschlagen →

Die vollständige Methode lesen

Method map

Quellen

So zitieren Sie diese Seite

Verwandte Methoden

Which method?

Referenziert von