Machine learning
טרנספורמר (עיבוד שפה טבעית)
הטרנספורמר הוא מודל למידה עמוקה מבוסס-קשב, שהוצג על ידי Vaswani ועמיתיו בשנת 2017, המבצע סיווג טקסט, זיהוי ישויות בשם, ומידול שפה בכך שהוא מאפשר לכל אסימון (token) ברצף להתייחס ישירות לכל אסימון אחר. הוא החליף עיצובים רקורנטיים קודמים במנגנון קשב-עצמי (self-attention) המעבד רצפים שלמים במקביל.
קראו את השיטה במלואה
לחברים בלבד
התחברותהתחברו עם חשבון חינמי כדי לקרוא חלק זה.
Method map
The neighbourhood of related methods — select a node to explore.
מקורות
- Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS. link ↗
איך לצטט עמוד זה
ScholarGate. (2026, June 1). Transformer Model for Natural Language Processing. ScholarGate. https://scholargate.app/he/deep-learning/transformer-nlp
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- מפענח-מצפין (Autoencoder)למידה עמוקה↔ compare
- רגרסיה לוגיסטיתסטטיסטיקה למחקר↔ compare
- יער אקראילמידת מכונה↔ compare
- XGBoostלמידת מכונה↔ compare