মাল্টিমোডাল ট্রান্সফর্মার
একটি মাল্টিমোডাল ট্রান্সফর্মার (Multimodal Transformer) স্ট্যান্ডার্ড ট্রান্সফর্মার আর্কিটেকচারকে প্রসারিত করে দুটি বা ততোধিক ইনপুট মোডালিটি—সাধারণত টেক্সট এবং ছবি, তবে অডিও, ভিডিও বা স্ট্রাকচার্ড ডেটাও হতে পারে—প্রসেস করতে এবং সেগুলোর উপর যৌথভাবে যুক্তি প্রয়োগ করতে। ক্রস-মোডাল অ্যাটেনশন লেয়ারগুলো এক মোডালিটির তথ্য অন্য মোডালিটির রিপ্রেজেন্টেশনে প্রভাব ফেলতে দেয়, যা ভিজ্যুয়াল কোয়েশ্চেন আনসারিং (visual question answering), ইমেজ ক্যাপশনিং (image captioning) এবং মাল্টিমোডাল সেন্টিমেন্ট অ্যানালাইসিস (multimodal sentiment analysis)-এর মতো কাজগুলো সক্ষম করে।
পুরো পদ্ধতিটি পড়ুন
এই অংশটি পড়তে বিনামূল্যের অ্যাকাউন্ট দিয়ে সাইন ইন করুন।
Method map
The neighbourhood of related methods — select a node to explore.
+15 more
উৎস
- Lu, J., Batra, D., Parikh, D., & Lee, S. (2019). ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks. Advances in Neural Information Processing Systems (NeurIPS), 32. link ↗
- Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., ... & Sutskever, I. (2021). Learning Transferable Visual Models From Natural Language Supervision. Proceedings of the 38th International Conference on Machine Learning (ICML), PMLR 139. link ↗
এই পৃষ্ঠা কীভাবে উদ্ধৃত করবেন
ScholarGate. (2026, June 3). Multimodal Transformer (Cross-Modal Attention-Based Architecture). ScholarGate. https://scholargate.app/bn/deep-learning/multimodal-transformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- BERT-ভিত্তিক শ্রেণিবিভাগগভীর শিখন↔ compare
- চিত্র শ্রেণীকরণগভীর শিখন↔ compare
- মাল্টিমোডাল BERT-ভিত্তিক ক্লাসিফিকেশনগভীর শিখন↔ compare
- বাক্য এমবেডিংগভীর শিখন↔ compare
- ভিশন ট্রান্সফরমারগভীর শিখন↔ compare
যেখানে উদ্ধৃত
এই পৃষ্ঠায় কোনো ত্রুটি চোখে পড়েছে? জানান বা সংশোধনের প্রস্তাব দিন →