Multimodal Sentence Embeddings (Joint Vision-Language Representation Learning)

Imagineu un diccionari on cada paraula es pogués cercar mostrant una imatge en lloc d'escriure-la. Els embeddings multimodals de frases construeixen exactament aquest tipus d'espai compartit: un codificador de llenguatge tradueix les frases en vectors, un codificador de visió tradueix les imatges en vectors, i un objectiu d'entrenament contrastiu apropa els parells coincidents mentre allunya els parells no coincidents. Un cop entrenat, una imatge de consulta i un subtítol coincident aterren a prop en l'espai, fins i tot si el model mai no ha vist aquest parell exacte abans, cosa que permet una potent cerca cross-modal i una generalització zero-shot.