লংফর্মার / বিগবার্ড
লংফর্মার (বেল্টাগি, পিটার্স ও কোহান, ২০২০) এবং বিগবার্ড (জাহির এট আল., ২০২০) এর মতো দীর্ঘ-সিকোয়েন্স ট্রান্সফরমারগুলি স্ট্যান্ডার্ড ট্রান্সফরমারের O(n²) অ্যাটেনশনকে স্পার্স অ্যাটেনশন প্যাটার্ন দিয়ে প্রতিস্থাপন করে যা সিকোয়েন্স দৈর্ঘ্যের সাথে রৈখিকভাবে, O(n), স্কেল করে। এটি একটি একক মডেলকে হাজার হাজার টোকেন - সম্পূর্ণ নথি, আইনি পাঠ্য, বা জিনোমিক সিকোয়েন্স - এর উপর মনোযোগ দিতে দেয় যা একটি প্রচলিত ট্রান্সফরমারে ফিট হবে না।
পুরো পদ্ধতিটি পড়ুন
এই অংশটি পড়তে বিনামূল্যের অ্যাকাউন্ট দিয়ে সাইন ইন করুন।
Method map
The neighbourhood of related methods — select a node to explore.
উৎস
এই পৃষ্ঠা কীভাবে উদ্ধৃত করবেন
ScholarGate. (2026, June 1). Long-Sequence Transformers with Sparse Attention (Longformer / BigBird). ScholarGate. https://scholargate.app/bn/deep-learning/longformer-bigbird
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- গ্রাফ অ্যাটেনশন নেটওয়ার্কগভীর শিখন↔ compare
- বিশেষজ্ঞদের মিশ্রণগভীর শিখন↔ compare
- Random Forestযন্ত্র শিখন↔ compare
- XGBoostযন্ত্র শিখন↔ compare
যেখানে উদ্ধৃত
এই পৃষ্ঠায় কোনো ত্রুটি চোখে পড়েছে? জানান বা সংশোধনের প্রস্তাব দিন →