ScholarGate
Assistent
Machine learning

Mitmepealine enesetähelepanu

Mitmepealine enesetähelepanu, mille Vaswani ja kolleegid 2017. aastal kasutusele võtsid, on mehhanism, mis võimaldab igal positsioonil jadas paralleelselt arvutada oma seose kõigi teiste positsioonidega. See on Transformer-arhitektuuri tuum ja alus BERTi, GPT ja T5 taga.

Ava rakenduses MethodMindPeagiVideoPeagiDownload slides

Loe meetodi täielikku kirjeldust

Ainult liikmetele

Selle osa lugemiseks logi sisse tasuta kontoga.

Logi sisse

Method map

The neighbourhood of related methods — select a node to explore.

Mitmepealine enesetähelepanu
BERT-mudeli täpsustamineGPT peenhäälestusLoRA ja PEFTJuhuslik metsXGBoostTähelepanu mehhanismKahesuunaline RNNPäringuga täiendatud gen…Jadast-jada mudel

Allikad

  1. Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS. link ↗
  2. Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL. link ↗

Kuidas sellele lehele viidata

ScholarGate. (2026, June 1). Multi-Head Self-Attention (Transformer Core). ScholarGate. https://scholargate.app/et/deep-learning/self-attention-transformer

Which method?

Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.

Compare side by side →

Sellele viitavad

Tähelepanu mehhanismKahesuunaline RNNPäringuga täiendatud genereerimine (RAG)Jadast-jada mudel

Märkasid sellel lehel viga? Teata sellest või paku parandust →

ScholarGate — Self-Attention (Multi-Head Self-Attention (Transformer Core)). Loetud 2026-06-15 aadressilt https://scholargate.app/et/deep-learning/self-attention-transformer · Andmestik: https://doi.org/10.5281/zenodo.20539026