Classificació d'Imatges Multimodal
La classificació d'imatges multimodal estén la classificació visual estàndard incorporant modalitats addicionals —com ara subtítols de text, àudio o metadades estructurades— juntament amb les característiques de la imatge. Codificadors separats processen cada modalitat, les seves representacions es fusionen i un classificador conjunt assigna l'etiqueta objectiu. Models com CLIP demostren que l'alineació imatge-text permet la classificació d'imatges de zero-shot i few-shot a escala.
Llegeix el mètode complet
Inicia la sessió amb un compte gratuït per llegir aquesta secció.
Method map
The neighbourhood of related methods — select a node to explore.
Fonts
- Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., ... & Sutskever, I. (2021). Learning transferable visual models from natural language supervision. Proceedings of the 38th International Conference on Machine Learning (ICML), PMLR 139, 8748–8763. link ↗
- Ngiam, J., Khosla, A., Kim, M., Nam, J., Lee, H., & Ng, A. Y. (2011). Multimodal deep learning. Proceedings of the 28th International Conference on Machine Learning (ICML), 689–696. link ↗
Com citar aquesta pàgina
ScholarGate. (2026, June 3). Multimodal Image Classification (Vision + Auxiliary Modality Fusion). ScholarGate. https://scholargate.app/ca/deep-learning/multimodal-image-classification
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Classificació d'imatges amb ajustament fi (Fine-Tuning)Aprenentatge profund↔ compare
- Classificació d'imatgesAprenentatge profund↔ compare
- Classificació multimodal basada en BERTAprenentatge profund↔ compare
- Multimodal Object DetectionAprenentatge profund↔ compare
- Multimodal Sentence EmbeddingsAprenentatge profund↔ compare
- Multimodal TransformerAprenentatge profund↔ compare
Citat per
Has vist cap problema en aquesta pàgina? Informa'n o suggereix una correcció →