ScholarGate
Asistent
Machine learning

Viac-hlavová vlastná pozornosť

Viac-hlavová vlastná pozornosť (multi-head self-attention), predstavená Vaswanim a kol. v roku 2017, je mechanizmus, ktorý umožňuje každej pozícii v sekvencii paralelne vypočítať jej vzťah ku všetkým ostatným pozíciám. Je to jadro architektúry Transformer a základ, na ktorom stoja modely BERT, GPT a T5.

Otvoriť v MethodMindČoskoroVideoČoskoroDownload slides

Prečítať celú metódu

Len pre členov

Ak si chcete prečítať túto sekciu, prihláste sa s bezplatným účtom.

Prihlásiť sa

Method map

The neighbourhood of related methods — select a node to explore.

Viac-hlavová vlastná pozornosť
Jemné doladenie BERTDolaďovanie GPTLoRA a PEFTNáhodný lesXGBoostMechanizmus pozornostiBidirectional RNNGenerovanie s rozšírením…Model sekvencia-na-sekve…

Zdroje

  1. Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS. link ↗
  2. Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL. link ↗

Ako citovať túto stránku

ScholarGate. (2026, June 1). Multi-Head Self-Attention (Transformer Core). ScholarGate. https://scholargate.app/sk/deep-learning/self-attention-transformer

Which method?

Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.

Compare side by side →

Odkazujú sem

Mechanizmus pozornostiBidirectional RNNGenerovanie s rozšírením vyhľadávaním (RAG)Model sekvencia-na-sekvenciu

Našli ste na tejto stránke chybu? Nahláste ju alebo navrhnite opravu →

ScholarGate — Self-Attention (Multi-Head Self-Attention (Transformer Core)). Získané 2026-06-15 z https://scholargate.app/sk/deep-learning/self-attention-transformer · Dátová sada: https://doi.org/10.5281/zenodo.20539026