Autoatenció multi-cap
L'autoatenció multi-cap, introduïda per Vaswani i col·laboradors el 2017, és el mecanisme que permet a cada posició d'una seqüència calcular la seva relació amb totes les altres posicions en paral·lel. És el nucli de l'arquitectura Transformer i la base de BERT, GPT i T5.
Llegeix el mètode complet
Inicia la sessió amb un compte gratuït per llegir aquesta secció.
Method map
The neighbourhood of related methods — select a node to explore.
Fonts
Com citar aquesta pàgina
ScholarGate. (2026, June 1). Multi-Head Self-Attention (Transformer Core). ScholarGate. https://scholargate.app/ca/deep-learning/self-attention-transformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Ajustament BERTAprenentatge profund↔ compare
- Ajustament fi de GPTAprenentatge profund↔ compare
- LoRA i PEFTAprenentatge profund↔ compare
- Random ForestAprenentatge automàtic↔ compare
- XGBoostAprenentatge automàtic↔ compare
Citat per
Has vist cap problema en aquesta pàgina? Informa'n o suggereix una correcció →