Machine learningDeep learning / NLP / CV
מודל דיפוזיה מולטימודאלי
מודל דיפוזיה מולטימודאלי מרחיב מודלים הסתברותיים של דיפוזיה מבוססי הסרת רעש (denoising diffusion probabilistic models) ליצירה או הבנה של תוכן על ידי התניה באותות ממספר אופנויות — כגון טקסט, תמונה, שמע או וידאו — בו-זמנית. הוא לומד להפוך תהליך רעש המונחה על ידי הקשר בין-אופני, ומאפשר סינתזה ותרגום באיכות גבוהה בין אופנויות.
קראו את השיטה במלואה
לחברים בלבד
התחברותהתחברו עם חשבון חינמי כדי לקרוא חלק זה.
Method map
The neighbourhood of related methods — select a node to explore.
מקורות
- Rombach, R., Blattmann, A., Lorenz, D., Esser, P., & Ommer, B. (2022). High-Resolution Image Synthesis with Latent Diffusion Models. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 10684–10695. DOI: 10.1109/CVPR52688.2022.01042 ↗
- Ho, J., Jain, A., & Abbeel, P. (2020). Denoising Diffusion Probabilistic Models. Advances in Neural Information Processing Systems (NeurIPS), 33, 6840–6851. link ↗
איך לצטט עמוד זה
ScholarGate. (2026, June 3). Multimodal Diffusion Model (Cross-Modal Conditional Denoising Diffusion). ScholarGate. https://scholargate.app/he/deep-learning/multimodal-diffusion-model
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- מודל דיפוזיה מכוונן עדיןלמידה עמוקה↔ compare
- סיווג מבוסס BERT רב-מודאלילמידה עמוקה↔ compare
- GAN רב-אופנילמידה עמוקה↔ compare
- טרנספורמר רב-מודאלילמידה עמוקה↔ compare
- מפענח אוטומטי וריאציוני רב-אופנילמידה עמוקה↔ compare
- Multimodal Vision Transformerלמידה עמוקה↔ compare