Multimodal BERT-based Classification
Multimodal BERT-based classification extends the BERT transformer architecture to jointly encode and classify data from multiple modalities — most commonly text paired with images — by fusing their representations before a final classification head. Introduced prominently around 2019 through models such as MMBT and ViLBERT, it has become a standard approach for tasks where neither text nor image alone carries sufficient information for accurate labeling.
Zdrojový záznam
Citace zkopírované doslovně ze zdrojového záznamu metody. Nejsou z nich vyvozovány žádné ověření na úrovni tvrzení.
- Kiela, D., Bhooshan, S., Firooz, H., Perez, E., & Testuggine, D. (2019). Supervised multimodal bitransformers for classifying images and text. arXiv preprint arXiv:1909.02950. · URL
- Lu, J., Batra, D., Parikh, D., & Lee, S. (2019). ViLBERT: Pretraining task-agnostic visiolinguistic representations for vision-and-language tasks. Advances in Neural Information Processing Systems, 32. · URL
Spravovaná tvrzení
Tvrzení uložená v registru důkazů, každé s vlastním hodnocením.
Tento pohled nevymýšlí hodnocení tvrzení, pokud registr žádné neobsahuje.
Související metody
Vygenerováno z grafu metod a zobrazeno jako strojově navržené vztahy – nejsou z nich vyvozována žádná tvrzení o důkazech.