ScholarGate
Asistent
Machine learning

Atenție Multi-Capete (Multi-Head Self-Attention)

Atenția multi-capete, introdusă de Vaswani și colegii în 2017, este mecanismul care permite fiecărei poziții dintr-o secvență să-și calculeze relația cu toate celelalte poziții în paralel. Este nucleul arhitecturii Transformer și fundamentul pe care se bazează BERT, GPT și T5.

Deschide în MethodMindÎn curândVideoÎn curândDescarcă prezentarea

Citește metoda completă

Doar pentru membri

Autentifică-te cu un cont gratuit pentru a citi această secțiune.

Autentificare

Harta metodelor

Vecinătatea metodelor înrudite — selectați un nod pentru a explora.

Atenție Multi-Capete (Multi-Head Self-Attention)
Reglajul fin BERTAjustarea fină a modelel…LoRA și PEFTPădurea Aleatoare (Rando…XGBoostMecanismul de atențieRNN bidirecționalGenerare Augmentată prin…Model Secvență-la-Secven…

Surse

  1. Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS. link ↗
  2. Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL. link ↗

Cum se citează această pagină

ScholarGate. (2026, June 1). Multi-Head Self-Attention (Transformer Core). ScholarGate. https://scholargate.app/ro/deep-learning/self-attention-transformer

Ce metodă?

Așezați această metodă lângă cele mai apropiate rude și citiți-le alăturat — biblioteca pune cărțile pe masă; alegerea vă aparține.

Compară alăturat →

Citat de

Mecanismul de atențieRNN bidirecționalGenerare Augmentată prin Regăsire (RAG)Model Secvență-la-Secvență

Ai observat o problemă pe această pagină? Raportează sau sugerează o corectură →

ScholarGate — Self-Attention (Multi-Head Self-Attention (Transformer Core)). Preluat la 2026-06-15 de pe https://scholargate.app/ro/deep-learning/self-attention-transformer · Set de date: https://doi.org/10.5281/zenodo.20539026