Shifted Window Transformer for Vision

L'innovation centrale du Swin Transformer est le mécanisme d'attention par fenêtres décalées. Les transformeurs traditionnels calculent l'attention globalement sur l'ensemble de l'image, ce qui devient prohibitivement coûteux pour les images à haute résolution. Swin divise plutôt l'image en fenêtres et calcule l'auto-attention au sein de chaque fenêtre, maintenant ainsi le calcul linéaire par rapport à la taille de l'image. En décalant périodiquement les limites des fenêtres, des régions distantes peuvent toujours interagir, permettant au modèle de capturer efficacement le contexte local et global. L'architecture hiérarchique imite les réseaux neuronaux convolutifs, réduisant progressivement la résolution spatiale tout en augmentant la dimension des canaux.