Machine learning
מנגנון קשב
מנגנון הקשב, שהוצג על ידי בהדנאו, צ'ו ובנג'יו בשנת 2015 ושופר על ידי לואונג, פאם ומנינג באותה שנה, מאפשר למפענח רצפים ללמוד באופן דינמי על אילו מהפלטות של המקודד להתמקד בכל צעד. לפני הטרנספורמר, הוא שיפר באופן משמעותי את איכות התרגום הממוחשב על ידי שחרור מודלים מדחיסת קלט שלם לווקטור קבוע יחיד.
קראו את השיטה במלואה
לחברים בלבד
התחברותהתחברו עם חשבון חינמי כדי לקרוא חלק זה.
Method map
The neighbourhood of related methods — select a node to explore.
+3 more
מקורות
- Bahdanau, D., Cho, K. & Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. ICLR. link ↗
- Luong, M.T., Pham, H. & Manning, C.D. (2015). Effective Approaches to Attention-based Neural Machine Translation. EMNLP, 1412–1421. DOI: 10.18653/v1/D15-1166 ↗
איך לצטט עמוד זה
ScholarGate. (2026, June 1). Attention Mechanism (Bahdanau / Luong Attention). ScholarGate. https://scholargate.app/he/deep-learning/attention-mechanism
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- כוונון עדין של BERTלמידה עמוקה↔ compare
- כוונון עדין של GPTלמידה עמוקה↔ compare
- יער אקראילמידת מכונה↔ compare
- Self-Attention מרובה ראשים (Multi-Head Self-Attention)למידה עמוקה↔ compare
- XGBoostלמידת מכונה↔ compare