Pyraformer: Pyramidal Attention Transformer สำหรับการพยากรณ์อนุกรมเวลาช่วงยาว
Pyraformer เป็นโมเดลที่ใช้ Transformer สำหรับการพยากรณ์อนุกรมเวลาช่วงยาว ซึ่งนำเสนอโดย Liu และคณะ ในงาน ICLR 2022 นวัตกรรมหลักคือ Pyramidal Attention Module (PAM) ที่จัดระเบียบโทเค็นให้อยู่ในลำดับชั้นหลายความละเอียด ทำให้โมเดลสามารถจับความสัมพันธ์เชิงเวลาในหลายระดับพร้อมกัน โดยยังคงความซับซ้อนด้านเวลาและหน่วยความจำที่ O(L log L) แทนที่จะเป็นค่ากำลังสองของการใส่ใจตนเองแบบปกติ
อ่านวิธีฉบับเต็ม
เข้าสู่ระบบด้วยบัญชีฟรีเพื่ออ่านส่วนนี้
Method map
The neighbourhood of related methods — select a node to explore.
แหล่งอ้างอิง
- Liu, S., Yu, H., Liao, C., Li, J., Lin, W., Liu, A. X., & Dustdar, S. (2022). Pyraformer: Low-complexity pyramidal attention for long-range time series modeling and forecasting. ICLR. link ↗
วิธีอ้างอิงหน้านี้
ScholarGate. (2026, June 2). Pyraformer (Pyramidal Attention for Long-Range Forecasting). ScholarGate. https://scholargate.app/th/deep-learning/pyraformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Autoformer: Decomposition Transformer สำหรับการพยากรณ์อนุกรมเวลาในระยะยาวการเรียนรู้เชิงลึก↔ compare
- Informerการเรียนรู้เชิงลึก↔ compare
- Reformer: The Efficient Transformer for Long Sequencesการเรียนรู้เชิงลึก↔ compare