Machine learning
Self-Attention מרובה ראשים (Multi-Head Self-Attention)
Self-Attention מרובה ראשים, שהוצג על ידי Vaswani ועמיתיו בשנת 2017, הוא המנגנון המאפשר לכל מיקום ברצף לחשב את יחסו לכל מיקום אחר ברצף במקביל. זהו הליבה של ארכיטקטורת ה-Transformer והבסיס שעליו נשענים BERT, GPT, ו-T5.
קראו את השיטה במלואה
לחברים בלבד
התחברותהתחברו עם חשבון חינמי כדי לקרוא חלק זה.
Method map
The neighbourhood of related methods — select a node to explore.
מקורות
איך לצטט עמוד זה
ScholarGate. (2026, June 1). Multi-Head Self-Attention (Transformer Core). ScholarGate. https://scholargate.app/he/deep-learning/self-attention-transformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- כוונון עדין של BERTלמידה עמוקה↔ compare
- כוונון עדין של GPTלמידה עמוקה↔ compare
- LoRA ו-PEFTלמידה עמוקה↔ compare
- יער אקראילמידת מכונה↔ compare
- XGBoostלמידת מכונה↔ compare