Multimodaaliset lauseupotukset
Multimodaaliset lauseupotukset sijoittavat tekstin ja kuvat (ja joskus äänen tai videon) jaettuun jatkuvaan vektoritilaan siten, että eri modaliteeteista peräisin olevat semanttisesti samankaltaiset parit päätyvät lähelle toisiaan. Suurilla paritetuilla aineistoilla kontrastiivisten tavoitteiden avulla koulutetut esitykset mahdollistavat multimodaalisen haun, nollalaukauksen luokittelun ja visuaalis-lingvistisen päättelyn.
Lue koko menetelmä
Kirjaudu sisään maksuttomalla tilillä lukeaksesi tämän osion.
Method map
The neighbourhood of related methods — select a node to explore.
Lähteet
- Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., ... & Sutskever, I. (2021). Learning transferable visual models from natural language supervision. In Proceedings of the 38th International Conference on Machine Learning (ICML), pp. 8748–8763. PMLR. link ↗
- Frome, A., Corrado, G. S., Shlens, J., Bengio, S., Dean, J., Ranzato, M., & Mikolov, T. (2013). DeViSE: A deep visual-semantic embedding model. In Advances in Neural Information Processing Systems (NeurIPS), Vol. 26. link ↗
Näin viittaat tähän sivuun
ScholarGate. (2026, June 3). Multimodal Sentence Embeddings (Joint Vision-Language Representation Learning). ScholarGate. https://scholargate.app/fi/deep-learning/multimodal-sentence-embeddings
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
Compare side by side →Tähän viittaavat
Huomasitko virheen tällä sivulla? Ilmoita siitä tai ehdota korjausta →