Machine learningDeep learning / NLP / CV

Monimuotoinen kuvien luokittelu

Monimuotoinen kuvien luokittelu laajentaa standardia visuaalista luokittelua sisällyttämällä kuvaominaisuuksien lisäksi muita modaliteetteja, kuten tekstillisiä kuvauksia, ääntä tai strukturoitua metadataa. Erilliset enkooderit prosessoivat kutakin modaliteettia, niiden representaatiot yhdistetään ja yhteinen luokittelija määrittää kohdeluokan. Mallit, kuten CLIP, osoittavat, että kuva-teksti-kohdistus mahdollistaa nollan ja harvan otoksen kuvien luokittelun laajassa mittakaavassa.

Avaa sovelluksessa MethodMindTulossaVideoTulossaDownload slides

Lue koko menetelmä

Vain jäsenille

Kirjaudu sisään maksuttomalla tilillä lukeaksesi tämän osion.

Kirjaudu sisään

Method map

The neighbourhood of related methods — select a node to explore.

Lähteet

  1. Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., ... & Sutskever, I. (2021). Learning transferable visual models from natural language supervision. Proceedings of the 38th International Conference on Machine Learning (ICML), PMLR 139, 8748–8763. link
  2. Ngiam, J., Khosla, A., Kim, M., Nam, J., Lee, H., & Ng, A. Y. (2011). Multimodal deep learning. Proceedings of the 28th International Conference on Machine Learning (ICML), 689–696. link

Näin viittaat tähän sivuun

ScholarGate. (2026, June 3). Multimodal Image Classification (Vision + Auxiliary Modality Fusion). ScholarGate. https://scholargate.app/fi/deep-learning/multimodal-image-classification

Which method?

Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.

Compare side by side

Tähän viittaavat

ScholarGateMultimodal Image Classification (Multimodal Image Classification (Vision + Auxiliary Modality Fusion)). Haettu 2026-06-15 osoitteesta https://scholargate.app/fi/deep-learning/multimodal-image-classification · Aineisto: https://doi.org/10.5281/zenodo.20539026