Multimodal billedklassifikation
Multimodal billedklassifikation udvider standard visuel klassifikation ved at inkorporere yderligere modaliteter – såsom tekstbeskrivelser, lyd eller struktureret metadata – sammen med billedfunktioner. Separate encodere behandler hver modalitet, deres repræsentationer flettes, og en fælles klassifikator tildeler måletiketten. Modeller som CLIP demonstrerer, at billed-tekst-justering muliggør zero-shot og few-shot billedklassifikation i stor skala.
Læs hele metoden
Log ind med en gratis konto for at læse dette afsnit.
Method map
The neighbourhood of related methods — select a node to explore.
Kilder
- Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., ... & Sutskever, I. (2021). Learning transferable visual models from natural language supervision. Proceedings of the 38th International Conference on Machine Learning (ICML), PMLR 139, 8748–8763. link ↗
- Ngiam, J., Khosla, A., Kim, M., Nam, J., Lee, H., & Ng, A. Y. (2011). Multimodal deep learning. Proceedings of the 28th International Conference on Machine Learning (ICML), 689–696. link ↗
Sådan citerer du denne side
ScholarGate. (2026, June 3). Multimodal Image Classification (Vision + Auxiliary Modality Fusion). ScholarGate. https://scholargate.app/da/deep-learning/multimodal-image-classification
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Finjusteret billedklassifikationDyb læring↔ compare
- BilledklassifikationDyb læring↔ compare
- Multimodal BERT-baseret klassifikationDyb læring↔ compare
- Multimodal ObjektdetektionDyb læring↔ compare
- Multimodale sætningsindlejringerDyb læring↔ compare
- Multimodal TransformerDyb læring↔ compare
Refereret af
Har du fundet en fejl på denne side? Indberet den eller foreslå en rettelse →