Мултимодална класификация, базирана на BERT
Мултимодалната класификация, базирана на BERT, разширява архитектурата на трансформера BERT, за да кодира съвместно и класифицира данни от множество модалности — най-често текст, съчетан с изображения — чрез сливане на техните представяния преди финален класификационен слой. Представена за първи път около 2019 г. чрез модели като MMBT и ViLBERT, тя се превърна в стандартен подход за задачи, при които нито текстът, нито изображението сами по себе си носят достатъчно информация за точно етикетиране.
Прочетете целия метод
Влезте с безплатен профил, за да прочетете този раздел.
Method map
The neighbourhood of related methods — select a node to explore.
+8 more
Източници
- Kiela, D., Bhooshan, S., Firooz, H., Perez, E., & Testuggine, D. (2019). Supervised multimodal bitransformers for classifying images and text. arXiv preprint arXiv:1909.02950. link ↗
- Lu, J., Batra, D., Parikh, D., & Lee, S. (2019). ViLBERT: Pretraining task-agnostic visiolinguistic representations for vision-and-language tasks. Advances in Neural Information Processing Systems, 32. link ↗
Как да цитирате тази страница
ScholarGate. (2026, June 3). Multimodal BERT-based Classification (Transformer Fusion of Text and Non-text Modalities). ScholarGate. https://scholargate.app/bg/deep-learning/multimodal-bert-based-classification
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- CLIPДълбоко обучение↔ compare
- Vision TransformerДълбоко обучение↔ compare
Цитиран в
Забелязахте ли проблем на тази страница? Съобщете или предложете поправка →