Multimodal spørsmålsbesvarelse
Multimodal spørsmålsbesvarelse (Multimodal QA) er en klasse av metoder for dyp læring som besvarer spørsmål formulert i naturlig språk ved å resonnere samlet over informasjon fra flere modaliteter – vanligvis tekst og bilder, men også video, lyd og strukturerte tabeller. Metoden ble fremtredende introdusert gjennom VQA-benchmarken i 2015, og har siden utviklet seg til et bredt forskningsfelt som driver dokumentforståelse, assistanse for medisinsk diagnose og legemliggjort KI.
Les hele metoden
Logg inn med en gratis konto for å lese denne delen.
Method map
The neighbourhood of related methods — select a node to explore.
Kilder
- Antol, S., Agrawal, A., Lu, J., Mitchell, M., Batra, D., Zitnick, C. L., & Parikh, D. (2015). VQA: Visual Question Answering. Proceedings of the IEEE International Conference on Computer Vision (ICCV), 2425–2433. DOI: 10.1109/ICCV.2015.279 ↗
- Xu, P., Zhu, X., & Clifton, D. A. (2023). Multimodal learning with transformers: A survey. IEEE Transactions on Pattern Analysis and Machine Intelligence, 45(10), 12113–12132. DOI: 10.1109/TPAMI.2023.3275156 ↗
Slik siterer du denne siden
ScholarGate. (2026, June 3). Multimodal Question Answering (Cross-Modal QA). ScholarGate. https://scholargate.app/no/deep-learning/multimodal-question-answering
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- BERT-basert klassifiseringDyp læring↔ compare
- Multimodal BERT-basert klassifiseringDyp læring↔ compare
- Multimodale setningsinnleiringerDyp læring↔ compare
- Multimodal tekstoppsummeringDyp læring↔ compare
- Multimodal transformereDyp læring↔ compare
Referert av
Funnet en feil på denne siden? Rapporter eller foreslå en rettelse →