การประมวลผลภาษาธรรมชาติแบบหลายรูปแบบ — การทำความเข้าใจภาพและภาษา

การประมวลผลภาษาธรรมชาติแบบหลายรูปแบบ (Multimodal NLP) เป็นกลุ่มของไปป์ไลน์การประมวลผลภาษาธรรมชาติที่รวมข้อความเข้ากับข้อมูลรูปแบบอื่นอย่างน้อยหนึ่งรูปแบบ ซึ่งโดยทั่วไปคือรูปภาพ แต่ก็รวมถึงเสียงและวิดีโอด้วย เพื่อทำงานด้านการทำความเข้าใจและการสร้างข้อความ เช่น การตอบคำถามเชิงทัศน์ (visual question answering) การสร้างคำบรรยายภาพ (image captioning) และการรู้จำอารมณ์แบบหลายรูปแบบ (multimodal sentiment recognition) สาขานี้ได้พัฒนามาถึงรูปแบบปัจจุบันด้วย CLIP (Radford et al., 2021) และได้ก้าวหน้าผ่านสถาปัตยกรรมต่างๆ เช่น BLIP-2 (Li et al., 2023) ซึ่งเชื่อมต่อตัวเข้ารหัสภาพแบบตรึง (frozen image encoders) และแบบจำลองภาษาขนาดใหญ่