Moirai: Universal Transformer til Tidsserieprognoser

Moirai er en grundmodel til universel tidsserieprognose, introduceret af Gerald Woo og kolleger ved Salesforce Research i 2024 og præsenteret på ICML. Hovedideen er at forhåndstræne en enkelt stor Transformer på et usædvanligt mangfoldigt korpus af tidsseriedata (LOTSA), der spænder over mange domæner og frekvenser, hvilket muliggør zero-shot og few-shot prognoser på usete datasæt uden opgavespecifik genoptræning. Moirai anvender patch-baseret tokenisering, any-variate attention og et mixture-of-distributions output-hoved for at håndtere variable frekvenser, multiple variater og probabilistisk forudsigelse i en samlet arkitektur.