ScholarGate
دستیار
Machine learning

توجه به خود چند-سری

توجه به خود چند-سری، که توسط واسوانی و همکاران در سال ۲۰۱۷ معرفی شد، مکانیزمی است که به هر موقعیت در یک دنباله اجازه می‌دهد تا رابطه خود را با تمام موقعیت‌های دیگر به صورت موازی محاسبه کند. این هسته معماری ترنسفورمر و اساس مدل‌های BERT، GPT و T5 است.

باز کردن در MethodMindبه‌زودیویدیوبه‌زودیDownload slides

مطالعهٔ کامل روش

ویژهٔ اعضا

برای خواندن این بخش با حساب رایگان وارد شوید.

ورود

Method map

The neighbourhood of related methods — select a node to explore.

توجه به خود چند-سری
تنظیم دقیق BERTتنظیم دقیق GPTلورا و PEFTجنگل تصادفیXGBoostسازوکار توجهشبکه عصبی بازگشتی دوطرفه…تولید افزوده بازیابی (RA…مدل توالی به توالی

منابع

  1. Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS. link ↗
  2. Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL. link ↗

نحوهٔ استناد به این صفحه

ScholarGate. (2026, June 1). Multi-Head Self-Attention (Transformer Core). ScholarGate. https://scholargate.app/fa/deep-learning/self-attention-transformer

Which method?

Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.

Compare side by side →

ارجاع‌شده در

سازوکار توجهشبکه عصبی بازگشتی دوطرفه (Bidirectional RNN)تولید افزوده بازیابی (RAG)مدل توالی به توالی

در این صفحه مشکلی دیدید؟ گزارش دهید یا اصلاحی پیشنهاد کنید →

ScholarGate — Self-Attention (Multi-Head Self-Attention (Transformer Core)). بازیابی‌شده در 2026-06-15 از https://scholargate.app/fa/deep-learning/self-attention-transformer · مجموعه‌داده: https://doi.org/10.5281/zenodo.20539026