ScholarGate
Asistents
Machine learning

Daudzgalvu paše-uzmanība

Daudzgalvu paše-uzmanība, ko ieviesa Vaswani un kolēģi 2017. gadā, ir mehānisms, kas ļauj katrai pozīcijai sekvencē paralēli aprēķināt tās attiecības ar visām citām pozīcijām. Tā ir Transformeru arhitektūras galvenā sastāvdaļa un pamats BERT, GPT un T5.

Atvērt MethodMindDrīzumāVideoDrīzumāLejupielādēt slaidus

Lasīt pilno metodes aprakstu

Tikai dalībniekiem

Piesakieties ar bezmaksas kontu, lai lasītu šo sadaļu.

Pieteikties

Metožu karte

Saistīto metožu apkaime — atlasiet mezglu, lai izpētītu.

Daudzgalvu paše-uzmanība
BERT Fine-TuningGPT smalkoregulēšanaLoRA un PEFTRandom ForestXGBoostAttention mechanismDкновеirziena atkārtojoš…Iegūšanā balstīta ģenerē…Sekvences-sekvences mode…

Avoti

  1. Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS. link ↗
  2. Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL. link ↗

Kā citēt šo lapu

ScholarGate. (2026, June 1). Multi-Head Self-Attention (Transformer Core). ScholarGate. https://scholargate.app/lv/deep-learning/self-attention-transformer

Kura metode?

Novietojiet šo metodi blakus tās tuvākajām radniecīgajām metodēm un lasiet tās līdzās — bibliotēka noliek grāmatas uz galda; izvēle ir jūsu.

Salīdzināt blakus →

Uz to atsaucas

Attention mechanismDкновеirziena atkārtojošais neironu tīklsIegūšanā balstīta ģenerēšana (RAG)Sekvences-sekvences modelis

Pamanījāt kļūdu šajā lapā? Ziņojiet vai ierosiniet labojumu →

ScholarGate — Self-Attention (Multi-Head Self-Attention (Transformer Core)). Izgūts 2026-06-15 no https://scholargate.app/lv/deep-learning/self-attention-transformer · Datu kopa: https://doi.org/10.5281/zenodo.20539026