iTransformer: Ανεστραμμένο Transformer για Πρόβλεψη Πολυμεταβλητών Χρονοσειρών

Το iTransformer είναι μια αρχιτεκτονική βαθιάς μάθησης για πρόβλεψη πολυμεταβλητών χρονοσειρών που εισήχθη από τους Liu et al. στο ICLR 2024. Η καθοριστική του ιδέα είναι η αντιστροφή της συμβατικής στρατηγικής τοκενοποίησης του Transformer: αντί να αντιμετωπίζεται κάθε χρονικό βήμα ως διακριτό στοιχείο (token), το iTransformer αντιμετωπίζει κάθε μεταβλητή (κανάλι αισθητήρα ή σειρά χαρακτηριστικών) ως ένα ενιαίο διακριτό στοιχείο, του οποίου η ενσωμάτωση (embedding) κωδικοποιεί ολόκληρο το παρατηρούμενο παράθυρο αναδρομής. Στη συνέχεια, εφαρμόζεται αυτο-προσοχή (self-attention) μεταξύ των μεταβλητών για τη σύλληψη των δια-σειριακών εξαρτήσεων, ενώ ένα δίκτυο προώθησης (feed-forward network) εντός κάθε διακριτού στοιχείου μαθαίνει χρονικά μοτίβα.