การจำแนกประเภทภาพหลายรูปแบบ
การจำแนกประเภทภาพหลายรูปแบบ (Multimodal Image Classification) เป็นการต่อยอดจากการจำแนกประเภทภาพแบบมาตรฐาน โดยการผนวกข้อมูลจากแหล่งอื่น ๆ เพิ่มเติม นอกเหนือจากคุณลักษณะของภาพ เช่น คำบรรยายภาพ เสียง หรือข้อมูลเมตาแบบมีโครงสร้าง เข้ามาใช้ร่วมด้วย โดยจะมีตัวเข้ารหัส (encoder) แยกต่างหากสำหรับประมวลผลข้อมูลแต่ละรูปแบบ จากนั้นจึงรวมการแสดงแทน (representation) ของข้อมูลเหล่านั้นเข้าด้วยกัน และใช้ตัวจำแนกประเภท (classifier) แบบร่วม (joint classifier) ในการกำหนดป้ายกำกับ (label) เป้าหมาย โมเดลอย่าง CLIP แสดงให้เห็นว่าการจัดตำแหน่ง (alignment) ระหว่างภาพและข้อความช่วยให้สามารถจำแนกประเภทภาพแบบ zero-shot และ few-shot ได้ในระดับสเกลใหญ่
อ่านวิธีฉบับเต็ม
เข้าสู่ระบบด้วยบัญชีฟรีเพื่ออ่านส่วนนี้
Method map
The neighbourhood of related methods — select a node to explore.
แหล่งอ้างอิง
- Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., ... & Sutskever, I. (2021). Learning transferable visual models from natural language supervision. Proceedings of the 38th International Conference on Machine Learning (ICML), PMLR 139, 8748–8763. link ↗
- Ngiam, J., Khosla, A., Kim, M., Nam, J., Lee, H., & Ng, A. Y. (2011). Multimodal deep learning. Proceedings of the 28th International Conference on Machine Learning (ICML), 689–696. link ↗
วิธีอ้างอิงหน้านี้
ScholarGate. (2026, June 3). Multimodal Image Classification (Vision + Auxiliary Modality Fusion). ScholarGate. https://scholargate.app/th/deep-learning/multimodal-image-classification
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- การจำแนกภาพแบบปรับละเอียดการเรียนรู้เชิงลึก↔ compare
- การจำแนกประเภทรูปภาพการเรียนรู้เชิงลึก↔ compare
- การจำแนกประเภทแบบหลายรูปแบบโดยใช้ BERTการเรียนรู้เชิงลึก↔ compare
- การตรวจจับวัตถุหลายรูปแบบการเรียนรู้เชิงลึก↔ compare
- การฝังประโยคหลายรูปแบบการเรียนรู้เชิงลึก↔ compare
- Multimodal Transformerการเรียนรู้เชิงลึก↔ compare