Multimodale NLP — Visueel-Taalbegrip
Multimodale NLP is een familie van natuurlijke taalverwerkingspijplijnen die tekst combineren met één of meer aanvullende datamodaliteiten — meest voorkomend beelden, maar ook audio en video — om begrips- en generatietaken uit te voeren, zoals visuele vraagbeantwoording, beeldonderschriften genereren en multimodale sentimentherkenning. Het veld kreeg zijn moderne vorm met CLIP (Radford et al., 2021) en is sindsdien geavanceerd door architecturen zoals BLIP-2 (Li et al., 2023) die bevroren beeldencoders en grote taalmodellen overbruggen.
Lees de volledige methode
Log in met een gratis account om dit onderdeel te lezen.
Method map
The neighbourhood of related methods — select a node to explore.
Bronnen
- Radford, A., Kim, J.W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., Sastry, G., Askell, A., Mishkin, P., Clark, J., Krueger, G., & Sutskever, I. (2021). Learning Transferable Visual Models From Natural Language Supervision. Proceedings of the 38th International Conference on Machine Learning (ICML), 8748–8763. link ↗
- Li, J., Li, D., Savarese, S., & Hoi, S. (2023). BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models. Proceedings of the 40th International Conference on Machine Learning (ICML), 19730–19742. link ↗
Deze pagina citeren
ScholarGate. (2026, June 1). Multimodal Natural Language Processing. ScholarGate. https://scholargate.app/nl/text-mining/multimodal-nlp
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Attention MechanismDeep learning↔ compare
- BERT-inbeddingenText mining↔ compare
- SentimentanalyseText mining↔ compare
- Transformator voor Visuele WaarnemingDeep learning↔ compare
Een fout op deze pagina gezien? Meld het of stel een correctie voor →