Daudzmodālais vīzijas transformators
Daudzmodālais vīzijas transformators (Multimodal ViT) paplašina vīzijas transformatora arhitektūru, lai kopīgi apstrādātu un saskaņotu attēlus un tekstu, izmantojot pašuzmanības un krusteniskās uzmanības mehānismus. Mācoties kopīgas vai saskaņotas iegulšanas telpas starp dažādām modalitātēm, tas nodrošina tādas uzdevumu veikšanu kā vizuālā jautājumu atbildēšana, attēlu un teksta izgūšana, vizuālā lokalizācija un attēlu aprakstīšana.
Lasīt pilno metodes aprakstu
Piesakieties ar bezmaksas kontu, lai lasītu šo sadaļu.
Method map
The neighbourhood of related methods — select a node to explore.
+1 more
Avoti
- Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T., Dehghani, M., Minderer, M., Heigold, G., Gelly, S., Uszkoreit, J., & Houlsby, N. (2021). An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. In International Conference on Learning Representations (ICLR). link ↗
- Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., Sastry, G., Askell, A., Mishkin, P., Clark, J., Krueger, G., & Sutskever, I. (2021). Learning Transferable Visual Models From Natural Language Supervision. In Proceedings of the 38th International Conference on Machine Learning (ICML), PMLR 139. link ↗
Kā citēt šo lapu
ScholarGate. (2026, June 3). Multimodal Vision Transformer (Multimodal ViT). ScholarGate. https://scholargate.app/lv/deep-learning/multimodal-vision-transformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- BERT klasifikācijaDziļā mācīšanās↔ compare
- Pielāgotais Vision TransformerDziļā mācīšanās↔ compare
- Attēlu klasifikācijaDziļā mācīšanās↔ compare
- Multimodāla BERT klasifikācijaDziļā mācīšanās↔ compare
- Vision TransformerDziļā mācīšanās↔ compare
Uz to atsaucas
Pamanījāt kļūdu šajā lapā? Ziņojiet vai ierosiniet labojumu →