ScholarGate
Asistent
Machine learning

Višeglava sopstvena pažnja

Višeglava sopstvena pažnja, koju su uveli Vaswani i saradnici 2017. godine, jeste mehanizam koji svakoj poziciji u sekvenci omogućava da paralelno izračuna svoj odnos sa svim drugim pozicijama. Ona je srž Transformer arhitekture i temelj na kome počivaju BERT, GPT i T5.

Otvorite u MethodMindUskoroVideoUskoroDownload slides

Pročitajte celu metodu

Samo za članove

Prijavite se besplatnim nalogom da biste pročitali ovaj odeljak.

Prijavite se

Method map

The neighbourhood of related methods — select a node to explore.

Višeglava sopstvena pažnja
BERT fine-tuningGPT fino-podešavanjeLoRA i PEFTSlučajna šumaXGBoostMehanizam pažnjeBidirectional RNNГенерација уз побољшано…Model sekvenca-na-sekven…

Izvori

  1. Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS. link ↗
  2. Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL. link ↗

Kako citirati ovu stranicu

ScholarGate. (2026, June 1). Multi-Head Self-Attention (Transformer Core). ScholarGate. https://scholargate.app/sr/deep-learning/self-attention-transformer

Which method?

Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.

Compare side by side →

Citirana u

Mehanizam pažnjeBidirectional RNNГенерација уз побољшано преузимање (RAG)Model sekvenca-na-sekvencu

Uočili ste grešku na ovoj stranici? Prijavite je ili predložite ispravku →

ScholarGate — Self-Attention (Multi-Head Self-Attention (Transformer Core)). Preuzeto 2026-06-15 sa https://scholargate.app/sr/deep-learning/self-attention-transformer · Skup podataka: https://doi.org/10.5281/zenodo.20539026