Machine learningDeep learning / NLP / CV
다중 모달 트랜스포머
다중 모달 트랜스포머(Multimodal Transformer)는 표준 트랜스포머 아키텍처를 확장하여 두 개 이상의 입력 모달리티(가장 일반적으로 텍스트와 이미지이지만 오디오, 비디오 또는 구조화된 데이터도 포함)를 처리하고 공동으로 추론합니다. 교차 모달 어텐션(cross-modal attention) 레이어는 한 모달리티의 정보가 다른 모달리티의 표현에 영향을 미치도록 하여 시각적 질문 응답, 이미지 캡셔닝, 다중 모달 감성 분석과 같은 작업을 가능하게 합니다.
방법 전문 읽기
회원 전용
로그인무료 계정으로 로그인하면 이 섹션을 읽을 수 있습니다.
Method map
The neighbourhood of related methods — select a node to explore.
+15 more
출처
- Lu, J., Batra, D., Parikh, D., & Lee, S. (2019). ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks. Advances in Neural Information Processing Systems (NeurIPS), 32. link ↗
- Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., ... & Sutskever, I. (2021). Learning Transferable Visual Models From Natural Language Supervision. Proceedings of the 38th International Conference on Machine Learning (ICML), PMLR 139. link ↗
이 페이지 인용 방법
ScholarGate. (2026, June 3). Multimodal Transformer (Cross-Modal Attention-Based Architecture). ScholarGate. https://scholargate.app/ko/deep-learning/multimodal-transformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- BERT 기반 분류딥러닝↔ compare
- 이미지 분류딥러닝↔ compare
- 멀티모달 BERT 기반 분류딥러닝↔ compare
- 문장 임베딩딥러닝↔ compare
- Vision Transformer딥러닝↔ compare
이 방법을 참조하는 항목
설명 가능한 트랜스포머다중 양식 합성곱 신경망다중 양식 확산 모델Multimodal Doc2Vec멀티모달 GAN다중 양식 그래프 신경망다중 모드 GRU다중 양식 이미지 분류Multimodal LDA Topic Model다중 양식 LSTMMultimodal Multilayer Perceptron다중 양식 명사 개체 인식다중 양식 객체 탐지다중 양식 질의응답Multimodal Recurrent Neural Network다중 양식 강화학습 (Multimodal Reinforcement Learning)다중 모달 RoBERTa 기반 분류다중 양식 텍스트 요약다중 양식 토픽 모델링다중모드 워드투벡터