দীর্ঘ অনুক্রমের জন্য কার্যকর ট্রান্সফরমার: রিফর্মার
রিফর্মার হলো কিটায়েভ, কাইজার এবং লেভস্কায়া কর্তৃক ICLR ২০২০ সালে প্রবর্তিত ট্রান্সফরমার আর্কিটেকচারের একটি কার্যকর সংস্করণ। এটি দীর্ঘ অনুক্রমের জন্য স্ট্যান্ডার্ড সেলফ-অ্যাটেনশনের ব্যয়বহুল O(L²) মেমরি এবং কম্পিউটেশনাল খরচ সমাধান করে। মূল উদ্ভাবনগুলি হলো লোকালিটি-সেনসিটিভ হ্যাশিং (LSH) অ্যাটেনশন, যা O(L log L) সময়ে পূর্ণ অ্যাটেনশনকে আনুমানিক করে, এবং রিভার্সিবল রেসিডিউয়াল লেয়ার যা প্রশিক্ষণের সময় অ্যাক্টিভেশন মেমরিকে নাটকীয়ভাবে হ্রাস করে।
পুরো পদ্ধতিটি পড়ুন
এই অংশটি পড়তে বিনামূল্যের অ্যাকাউন্ট দিয়ে সাইন ইন করুন।
Method map
The neighbourhood of related methods — select a node to explore.
উৎস
- Kitaev, N., Kaiser, Ł., & Levskaya, A. (2020). Reformer: The efficient transformer. ICLR. link ↗
এই পৃষ্ঠা কীভাবে উদ্ধৃত করবেন
ScholarGate. (2026, June 2). Reformer (The Efficient Transformer). ScholarGate. https://scholargate.app/bn/deep-learning/reformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Informerগভীর শিখন↔ compare
- Pyraformerগভীর শিখন↔ compare
যেখানে উদ্ধৃত
এই পৃষ্ঠায় কোনো ত্রুটি চোখে পড়েছে? জানান বা সংশোধনের প্রস্তাব দিন →