Multimodal Transformer (Cross-Modal Attention-Based Architecture)

Un Transformer només de text llegeix una frase testim per testim i relaciona les paraules entre si mitjançant autoatenció. Un Transformer multimodal fa el mateix però afegeix testimon visuals o auditius al costat dels testimon de paraules. Mecanismes especials de co-atenció permeten que cada paraula atengui a pegats d'imatge rellevants i cada regió d'imatge atengui a paraules rellevants. El model aprèn que 'el gat es va asseure a l'estora' i una foto d'un gat en una estora signifiquen el mateix, vinculant el significat del llenguatge amb el contingut perceptual. El preentrenament en grans conjunts de dades aparellades (p. ex., parells imatge-subtítol) proporciona al model una representació conjunta rica abans de ser ajustat per a tasques específiques posteriors.