Machine learningDeep learning / NLP / CV

Multimodal BERT-baseret klassifikation

Multimodal BERT-baseret klassifikation udvider BERT-transformerarkitekturen til i fællesskab at kode og klassificere data fra flere modaliteter – oftest tekst parret med billeder – ved at fusionere deres repræsentationer før et endeligt klassifikationshoved. Introduceret prominent omkring 2019 gennem modeller som MMBT og ViLBERT, er det blevet en standardtilgang til opgaver, hvor hverken tekst eller billede alene indeholder tilstrækkelig information til nøjagtig mærkning.

Åbn i MethodMindSnartVideoSnartDownload slides

Læs hele metoden

Kun for medlemmer

Log ind med en gratis konto for at læse dette afsnit.

Log ind

Method map

The neighbourhood of related methods — select a node to explore.

Multimodal BERT-baseret klassifikation

CLIP Vision Transformer Multimodal Convolutional…Multimodal Diffusionsmod…Multimodal Doc2Vec Multimodal grafisk neura…Multimodal GRU Multimodal billedklassif…Multimodal LDA-emnebaser…Multimodal Named Entity…

+8 more

Kilder

Kiela, D., Bhooshan, S., Firooz, H., Perez, E., & Testuggine, D. (2019). Supervised multimodal bitransformers for classifying images and text. arXiv preprint arXiv:1909.02950. link ↗
Lu, J., Batra, D., Parikh, D., & Lee, S. (2019). ViLBERT: Pretraining task-agnostic visiolinguistic representations for vision-and-language tasks. Advances in Neural Information Processing Systems, 32. link ↗

Sådan citerer du denne side

ScholarGate. (2026, June 3). Multimodal BERT-based Classification (Transformer Fusion of Text and Non-text Modalities). ScholarGate. https://scholargate.app/da/deep-learning/multimodal-bert-based-classification

Which method?

Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.

CLIPDyb læring↔ compare
Vision TransformerDyb læring↔ compare

Compare side by side →

Refereret af

Multimodal Convolutional Neural Network Multimodal Diffusionsmodel Multimodal Doc2Vec Multimodal grafisk neurale netværk Multimodal GRU Multimodal billedklassifikation Multimodal LDA-emnebaseret model Multimodal Named Entity Recognition Multimodal Spørgsmål-Svar Multimodal Recurrent Neural Network Multimodal RoBERTa-baseret Klassifikation Multimodal tekstresumé Multimodal Topic Modeling Multimodal Transformer Multimodal Vision Transformer Multimodal Word2Vec

Har du fundet en fejl på denne side? Indberet den eller foreslå en rettelse →

Læs hele metoden

Method map

Kilder

Sådan citerer du denne side

Relaterede metoder

Which method?

Refereret af