Мультимодальна класифікація на основі BERT
Мультимодальна класифікація на основі BERT розширює архітектуру трансформера BERT для спільного кодування та класифікації даних з кількох модальностей — найчастіше тексту в поєднанні із зображеннями — шляхом злиття їхніх представлень перед фінальною класифікаційною головою. Вперше помітно представлена приблизно у 2019 році за допомогою таких моделей, як MMBT та ViLBERT, вона стала стандартним підходом для завдань, де ані текст, ані зображення самі по собі не містять достатньо інформації для точного маркування.
Читати метод повністю
Увійдіть із безкоштовним обліковим записом, щоб прочитати цей розділ.
Method map
The neighbourhood of related methods — select a node to explore.
+8 more
Джерела
- Kiela, D., Bhooshan, S., Firooz, H., Perez, E., & Testuggine, D. (2019). Supervised multimodal bitransformers for classifying images and text. arXiv preprint arXiv:1909.02950. link ↗
- Lu, J., Batra, D., Parikh, D., & Lee, S. (2019). ViLBERT: Pretraining task-agnostic visiolinguistic representations for vision-and-language tasks. Advances in Neural Information Processing Systems, 32. link ↗
Як цитувати цю сторінку
ScholarGate. (2026, June 3). Multimodal BERT-based Classification (Transformer Fusion of Text and Non-text Modalities). ScholarGate. https://scholargate.app/uk/deep-learning/multimodal-bert-based-classification
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- CLIPГлибоке навчання↔ compare
- Трансформер для комп'ютерного зоруГлибоке навчання↔ compare
Згадується в
Помітили помилку на цій сторінці? Повідомте про неї або запропонуйте виправлення →