Procesamiento del Lenguaje Natural Multimodal — Comprensión Visión-Lenguaje

El Procesamiento del Lenguaje Natural (PLN) multimodal es una familia de flujos de trabajo de procesamiento del lenguaje natural que combinan texto con una o más modalidades de datos adicionales —más comúnmente imágenes, pero también audio y vídeo— para realizar tareas de comprensión y generación como la respuesta a preguntas visuales, la generación de descripciones de imágenes y el reconocimiento multimodal de sentimientos. El campo adquirió su forma moderna con CLIP (Radford et al., 2021) y desde entonces ha avanzado a través de arquitecturas como BLIP-2 (Li et al., 2023) que conectan codificadores de imágenes congelados y grandes modelos de lenguaje.