Multimodalna klasifikacija utemeljena na BERT-u
Multimodalna klasifikacija utemeljena na BERT-u proširuje arhitekturu BERT transformera za zajedničko kodiranje i klasifikaciju podataka iz više modaliteta — najčešće teksta uparenog sa slikama — spajanjem njihovih reprezentacija prije završne klasifikacijske glave. Istaknuto predstavljena oko 2019. kroz modele poput MMBT-a i ViLBERT-a, postala je standardni pristup zadacima gdje ni sam tekst ni sama slika ne nose dovoljne informacije za točno etiketiranje.
Pročitajte cijelu metodu
Prijavite se besplatnim računom kako biste pročitali ovaj odjeljak.
Method map
The neighbourhood of related methods — select a node to explore.
+8 more
Izvori
- Kiela, D., Bhooshan, S., Firooz, H., Perez, E., & Testuggine, D. (2019). Supervised multimodal bitransformers for classifying images and text. arXiv preprint arXiv:1909.02950. link ↗
- Lu, J., Batra, D., Parikh, D., & Lee, S. (2019). ViLBERT: Pretraining task-agnostic visiolinguistic representations for vision-and-language tasks. Advances in Neural Information Processing Systems, 32. link ↗
Kako citirati ovu stranicu
ScholarGate. (2026, June 3). Multimodal BERT-based Classification (Transformer Fusion of Text and Non-text Modalities). ScholarGate. https://scholargate.app/hr/deep-learning/multimodal-bert-based-classification
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- CLIPDuboko učenje↔ compare
- Vision TransformerDuboko učenje↔ compare
Citirana u
Uočili ste pogrešku na ovoj stranici? Prijavite je ili predložite ispravak →