NLP multimodale — Comprensione Visione-Linguaggio

L'NLP multimodale è una famiglia di pipeline di elaborazione del linguaggio naturale che combinano testo con una o più modalità di dati aggiuntive — più comunemente immagini, ma anche audio e video — per eseguire attività di comprensione e generazione quali la risposta a domande visive (visual question answering), la generazione di didascalie per immagini (image captioning) e il riconoscimento multimodale del sentiment. Il campo ha assunto la sua forma moderna con CLIP (Radford et al., 2021) e da allora è progredito attraverso architetture come BLIP-2 (Li et al., 2023) che collegano encoder di immagini congelati (frozen image encoders) e grandi modelli linguistici.