ScholarGate
Asistenti
Machine learning

Vetë-vëmendja me shumë koka

Vetë-vëmendja me shumë koka, e prezantuar nga Vaswani dhe kolegët në vitin 2017, është mekanizmi që lejon çdo pozicion në një sekuencë të llogarisë marrëdhënien e tij me të gjitha pozicionet e tjera në paralel. Është bërthama e arkitekturës Transformer dhe themeli nën BERT, GPT dhe T5.

Hapeni në MethodMindSë shpejtiVideoSë shpejtiDownload slides

Lexoni metodën e plotë

Vetëm për anëtarët

Hyni me një llogari falas për ta lexuar këtë seksion.

Hyni

Method map

The neighbourhood of related methods — select a node to explore.

Vetë-vëmendja me shumë koka
Përshtatja e BERTPërsosja e GPT (GPT Fine…LoRA dhe PEFTPylli i RastësishëmXGBoostMekanizmi i vëmendjesRNN-i BidireksionalPërgjigje e Shtuar me Kë…Modeli sekuencë-për-seku…

Burimet

  1. Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS. link ↗
  2. Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL. link ↗

Si ta citoni këtë faqe

ScholarGate. (2026, June 1). Multi-Head Self-Attention (Transformer Core). ScholarGate. https://scholargate.app/sq/deep-learning/self-attention-transformer

Which method?

Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.

Compare side by side →

Cituar nga

Mekanizmi i vëmendjesRNN-i BidireksionalPërgjigje e Shtuar me Kërkim (RAG)Modeli sekuencë-për-sekuencë

Vutë re një problem në këtë faqe? Raportojeni ose sugjeroni një korrigjim →

ScholarGate — Self-Attention (Multi-Head Self-Attention (Transformer Core)). Marrë më 2026-06-15 nga https://scholargate.app/sq/deep-learning/self-attention-transformer · Seti i të dhënave: https://doi.org/10.5281/zenodo.20539026