ScholarGate
Avustaja
Machine learning

Monipäinen itsehuomio (Multi-Head Self-Attention)

Monipäinen itsehuomio, jonka Vaswani kollegoineen esitteli vuonna 2017, on mekanismi, joka antaa jokaisen position sekvenssissä laskea suhteensa kaikkiin muihin positioihin rinnakkain. Se on Transformer-arkkitehtuurin ydin ja BERTin, GPT:n ja T5:n perustana.

Avaa sovelluksessa MethodMindTulossaVideoTulossaDownload slides

Lue koko menetelmä

Vain jäsenille

Kirjaudu sisään maksuttomalla tilillä lukeaksesi tämän osion.

Kirjaudu sisään

Method map

The neighbourhood of related methods — select a node to explore.

Monipäinen itsehuomio (Multi-Head Self-Attention)
BERT-hienosäätöGPT-mallin hienosäätöLoRA ja PEFTRandom ForestXGBoostHuomiomekanismiKaksisuuntainen RNNRetrieval-Augmented Gene…Sekvenssistä sekvenssiks…

Lähteet

  1. Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS. link ↗
  2. Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL. link ↗

Näin viittaat tähän sivuun

ScholarGate. (2026, June 1). Multi-Head Self-Attention (Transformer Core). ScholarGate. https://scholargate.app/fi/deep-learning/self-attention-transformer

Which method?

Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.

Compare side by side →

Tähän viittaavat

HuomiomekanismiKaksisuuntainen RNNRetrieval-Augmented Generation (RAG)Sekvenssistä sekvenssiksi -malli

Huomasitko virheen tällä sivulla? Ilmoita siitä tai ehdota korjausta →

ScholarGate — Self-Attention (Multi-Head Self-Attention (Transformer Core)). Haettu 2026-06-15 osoitteesta https://scholargate.app/fi/deep-learning/self-attention-transformer · Aineisto: https://doi.org/10.5281/zenodo.20539026