Pyraformer: Püramiidse tähelepanu (attention) Transformer pikaajaliseks aegridade prognoosimiseks
Pyraformer on Transformer-põhine mudel pikaajaliseks aegridade prognoosimiseks, mille tutvustasid Liu jt. ICLR 2022. Selle keskne uuendus on püramiidse tähelepanu moodul (Pyramidal Attention Module, PAM), mis korraldab tokeneid mitme resolutsiooniga hierarhiasse, võimaldades mudelil püüda kinni ajasõltuvusi mitmel skaalal, säilitades samal ajal aja- ja mälumahu keerukuse O(L log L) asemel tavalise enesetähelepanu ruutkompleksuse.
Loe meetodi täielikku kirjeldust
Selle osa lugemiseks logi sisse tasuta kontoga.
Method map
The neighbourhood of related methods — select a node to explore.
Allikad
- Liu, S., Yu, H., Liao, C., Li, J., Lin, W., Liu, A. X., & Dustdar, S. (2022). Pyraformer: Low-complexity pyramidal attention for long-range time series modeling and forecasting. ICLR. link ↗
Kuidas sellele lehele viidata
ScholarGate. (2026, June 2). Pyraformer (Pyramidal Attention for Long-Range Forecasting). ScholarGate. https://scholargate.app/et/deep-learning/pyraformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- AutoformerSüvaõpe↔ compare
- InformerSüvaõpe↔ compare
- Reformer: tõhus Transformer pikkade jada jaoksSüvaõpe↔ compare
Sellele viitavad
Märkasid sellel lehel viga? Teata sellest või paku parandust →