Machine learningTime-series forecasting
Reformer: The Efficient Transformer for Long Sequences
Reformer는 Kitaev, Kaiser, 그리고 Levskaya가 ICLR 2020에서 소개한 Transformer 아키텍처의 효율적인 변형입니다. 이 모델은 긴 시퀀스에 대한 표준 self-attention의 과도한 O(L²) 메모리 및 계산 비용 문제를 해결합니다. 주요 혁신은 O(L log L) 시간으로 전체 attention을 근사하는 locality-sensitive hashing (LSH) attention과, 훈련 중 활성화 메모리를 극적으로 줄이는 reversible residual layers입니다.
방법 전문 읽기
회원 전용
로그인무료 계정으로 로그인하면 이 섹션을 읽을 수 있습니다.
Method map
The neighbourhood of related methods — select a node to explore.
출처
- Kitaev, N., Kaiser, Ł., & Levskaya, A. (2020). Reformer: The efficient transformer. ICLR. link ↗
이 페이지 인용 방법
ScholarGate. (2026, June 2). Reformer (The Efficient Transformer). ScholarGate. https://scholargate.app/ko/deep-learning/reformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
Compare side by side →