Reformer: The Efficient Transformer for Long Sequences
Reformer เป็นสถาปัตยกรรม Transformer แบบปรับปรุงที่มีประสิทธิภาพ ซึ่งนำเสนอโดย Kitaev, Kaiser และ Levskaya ในงาน ICLR 2020 โดยมีเป้าหมายเพื่อแก้ไขปัญหาต้นทุนหน่วยความจำและทรัพยากรในการคำนวณแบบ O(L²) ของกลไก self-attention มาตรฐานสำหรับลำดับข้อมูลที่ยาว นวัตกรรมหลักคือกลไก locality-sensitive hashing (LSH) attention ซึ่งประมาณค่า full attention ได้ในเวลา O(L log L) และชั้น residual แบบย้อนกลับได้ (reversible residual layers) ที่ช่วยลดหน่วยความจำของ activation ลงอย่างมากในระหว่างการฝึกสอน
อ่านวิธีฉบับเต็ม
เข้าสู่ระบบด้วยบัญชีฟรีเพื่ออ่านส่วนนี้
Method map
The neighbourhood of related methods — select a node to explore.
แหล่งอ้างอิง
- Kitaev, N., Kaiser, Ł., & Levskaya, A. (2020). Reformer: The efficient transformer. ICLR. link ↗
วิธีอ้างอิงหน้านี้
ScholarGate. (2026, June 2). Reformer (The Efficient Transformer). ScholarGate. https://scholargate.app/th/deep-learning/reformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Informerการเรียนรู้เชิงลึก↔ compare
- Pyraformer: Pyramidal Attention Transformer สำหรับการพยากรณ์อนุกรมเวลาช่วงยาวการเรียนรู้เชิงลึก↔ compare