Crossformer: Transformer με Εξαρτήσεις Διασταυρούμενων Διαστάσεων για Πρόβλεψη Πολυμεταβλητών Χρονοσειρών

Το Crossformer είναι μια αρχιτεκτονική βασισμένη σε Transformer για πρόβλεψη πολυμεταβλητών χρονοσειρών, που εισήχθη από τους Yunhao Zhang και Junchi Yan στο ICLR 2023. Σε αντίθεση με προηγούμενες παραλλαγές Transformer που αντιμετωπίζουν κάθε μεταβλητή ανεξάρτητα, το Crossformer μοντελοποιεί ρητά τις εξαρτήσεις διασταυρούμενων διαστάσεων παράλληλα με τα χρονικά μοτίβα. Αυτό επιτυγχάνεται μέσω ενός σχεδιασμού προσοχής δύο σταδίων — διαχρονικής και διασταυρούμενης διάστασης — που εφαρμόζεται σε ενσωματώσεις επιπέδου τμήματος οργανωμένες σε έναν ιεραρχικό κωδικοποιητή, επιτρέποντας στο μοντέλο να συλλάβει ταυτόχρονα τόσο τις ενδο-μεταβλητές δυναμικές όσο και τις δια-μεταβλητές συσχετίσεις.