Classificació multimodal basada en BERT
La classificació multimodal basada en BERT estén l'arquitectura transformer de BERT per codificar i classificar conjuntament dades de múltiples modalitats —més comunament text aparellat amb imatges— fusionant les seves representacions abans d'un capçal de classificació final. Introduïda de manera prominent al voltant del 2019 a través de models com MMBT i ViLBERT, s'ha convertit en un enfocament estàndard per a tasques on ni el text ni la imatge sols porten informació suficient per a una etiquetatge precís.
Llegeix el mètode complet
Inicia la sessió amb un compte gratuït per llegir aquesta secció.
Method map
The neighbourhood of related methods — select a node to explore.
+8 more
Fonts
- Kiela, D., Bhooshan, S., Firooz, H., Perez, E., & Testuggine, D. (2019). Supervised multimodal bitransformers for classifying images and text. arXiv preprint arXiv:1909.02950. link ↗
- Lu, J., Batra, D., Parikh, D., & Lee, S. (2019). ViLBERT: Pretraining task-agnostic visiolinguistic representations for vision-and-language tasks. Advances in Neural Information Processing Systems, 32. link ↗
Com citar aquesta pàgina
ScholarGate. (2026, June 3). Multimodal BERT-based Classification (Transformer Fusion of Text and Non-text Modalities). ScholarGate. https://scholargate.app/ca/deep-learning/multimodal-bert-based-classification
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- CLIPAprenentatge profund↔ compare
- Vision TransformerAprenentatge profund↔ compare
Citat per
Has vist cap problema en aquesta pàgina? Informa'n o suggereix una correcció →