เปรียบเทียบวิธี
ดูวิธีที่เลือกเทียบกันแบบเคียงข้าง แถวที่ต่างกันจะถูกเน้นไว้
| เพอร์เซปตรอนหลายชั้นหลายรูปแบบ× | การฝังประโยคหลายรูปแบบ× | |
|---|---|---|
| สาขาวิชา | การเรียนรู้เชิงลึก | การเรียนรู้เชิงลึก |
| ตระกูล | Machine learning | Machine learning |
| ปีกำเนิด≠ | 2011 (multimodal extension); 1986 (MLP backpropagation) | 2013–2021 |
| ผู้ริเริ่ม≠ | Ngiam et al. / Rumelhart, Hinton & Williams (MLP foundations) | Frome et al. (DeViSE, 2013); popularized by Radford et al. (CLIP, 2021) |
| ประเภท≠ | Feedforward neural network with multi-stream fusion | Representation learning model |
| แหล่งต้นตำรับ≠ | Ngiam, J., Khosla, A., Kim, M., Nam, J., Lee, H., & Ng, A. Y. (2011). Multimodal deep learning. In Proceedings of the 28th International Conference on Machine Learning (ICML 2011), pp. 689–696. link ↗ | Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., ... & Sutskever, I. (2021). Learning transferable visual models from natural language supervision. In Proceedings of the 38th International Conference on Machine Learning (ICML), pp. 8748–8763. PMLR. link ↗ |
| ชื่อเรียกอื่น | MM-MLP, multimodal MLP, multi-input feedforward network, fusion multilayer perceptron | multimodal embeddings, cross-modal sentence embeddings, vision-language embeddings, joint image-text embeddings |
| ที่เกี่ยวข้อง≠ | 5 | 1 |
| สรุป≠ | A Multimodal Multilayer Perceptron (MM-MLP) is a feedforward neural network that ingests features from two or more heterogeneous input modalities — such as structured tabular data, text embeddings, and image feature vectors — by encoding each stream separately and fusing them into a shared representation before passing it through fully connected layers to produce a classification or regression output. | Multimodal sentence embeddings map text and images (and sometimes audio or video) into a shared continuous vector space, so that semantically related pairs from different modalities land close together. Trained by contrastive objectives on large paired corpora, these representations power cross-modal retrieval, zero-shot classification, and vision-language reasoning. |
| ScholarGateชุดข้อมูล ↗ |
|
|