ScholarGate
Assistent
Machine learning

Multi-hode selvoppmerksomhet

Multi-head self-attention, introdusert av Vaswani og kolleger i 2017, er mekanismen som lar hver posisjon i en sekvens beregne sin relasjon til alle andre posisjoner parallelt. Det er kjernen i Transformer-arkitekturen og grunnlaget for BERT, GPT og T5.

Åpne i MethodMindSnartVideoSnartDownload slides

Les hele metoden

Kun for medlemmer

Logg inn med en gratis konto for å lese denne delen.

Logg inn

Method map

The neighbourhood of related methods — select a node to explore.

Multi-hode selvoppmerksomhet
BERT finjusteringGPT finjusteringLoRA og PEFTRandom ForestXGBoostOppmerksomhetsmekanismeToveis RNNGjenfinningsstøttet gene…Sekvens-til-sekvens-mode…

Kilder

  1. Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS. link ↗
  2. Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL. link ↗

Slik siterer du denne siden

ScholarGate. (2026, June 1). Multi-Head Self-Attention (Transformer Core). ScholarGate. https://scholargate.app/no/deep-learning/self-attention-transformer

Which method?

Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.

Compare side by side →

Referert av

OppmerksomhetsmekanismeToveis RNNGjenfinningsstøttet generering (RAG)Sekvens-til-sekvens-modellen (Seq2Seq)

Funnet en feil på denne siden? Rapporter eller foreslå en rettelse →

ScholarGate — Self-Attention (Multi-Head Self-Attention (Transformer Core)). Hentet 2026-06-15 fra https://scholargate.app/no/deep-learning/self-attention-transformer · Datasett: https://doi.org/10.5281/zenodo.20539026