Swin Transformer

Die Kerninnovation des Swin Transformers ist der Mechanismus der verschobenen Fensteraufmerksamkeit. Traditionelle Transformer berechnen Aufmerksamkeit global über das gesamte Bild, was für hochauflösende Bilder prohibitiv teuer wird. Swin teilt das Bild stattdessen in Fenster auf und berechnet Selbstaufmerksamkeit innerhalb jedes Fensters, wodurch die Berechnung linear zur Bildgröße bleibt. Durch periodisches Verschieben der Fenstergrenzen können entfernte Regionen dennoch interagieren, was dem Modell ermöglicht, sowohl lokalen als auch globalen Kontext effizient zu erfassen. Die hierarchische Architektur spiegelt Convolutional Neural Networks wider, indem sie schrittweise die räumliche Auflösung reduziert und gleichzeitig die Kanaldimension erhöht.