Machine learning

মাল্টি-হেড সেলফ-অ্যাটেনশন

মাল্টি-হেড সেলফ-অ্যাটেনশন, যা ২০১৭ সালে ভাসওয়ানি এবং সহকর্মীদের দ্বারা প্রবর্তিত হয়েছিল, এটি এমন একটি প্রক্রিয়া যা একটি সিকোয়েন্সের প্রতিটি অবস্থানকে সমান্তরালভাবে অন্য সমস্ত অবস্থানের সাথে তার সম্পর্ক গণনা করতে দেয়। এটি ট্রান্সফরমার আর্কিটেকচারের মূল এবং BERT, GPT, এবং T5-এর ভিত্তি।

MethodMind-এ খুলুনশীঘ্রইভিডিওশীঘ্রইDownload slides

পুরো পদ্ধতিটি পড়ুন

শুধু সদস্যদের জন্য

এই অংশটি পড়তে বিনামূল্যের অ্যাকাউন্ট দিয়ে সাইন ইন করুন।

সাইন ইন করুন

Method map

The neighbourhood of related methods — select a node to explore.

উৎস

  1. Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS. link
  2. Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL. link

এই পৃষ্ঠা কীভাবে উদ্ধৃত করবেন

ScholarGate. (2026, June 1). Multi-Head Self-Attention (Transformer Core). ScholarGate. https://scholargate.app/bn/deep-learning/self-attention-transformer

Which method?

Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.

Compare side by side

যেখানে উদ্ধৃত

ScholarGateSelf-Attention (Multi-Head Self-Attention (Transformer Core)). 2026-06-15 তারিখে সংগৃহীত, উৎস: https://scholargate.app/bn/deep-learning/self-attention-transformer · ডেটাসেট: https://doi.org/10.5281/zenodo.20539026