Reformer: Bộ biến đổi hiệu quả cho chuỗi dài
Reformer là một biến thể hiệu quả của kiến trúc Transformer được giới thiệu bởi Kitaev, Kaiser và Levskaya tại ICLR 2020. Nó giải quyết chi phí bộ nhớ và tính toán O(L²) không thể chấp nhận được của cơ chế tự chú ý tiêu chuẩn đối với các chuỗi dài. Các đổi mới chính là cơ chế chú ý dựa trên băm nhạy cảm với vị trí (LSH - locality-sensitive hashing), xấp xỉ phép chú ý đầy đủ trong thời gian O(L log L), và các lớp phần dư có thể đảo ngược giúp giảm đáng kể bộ nhớ kích hoạt trong quá trình huấn luyện.
Đọc toàn bộ phương pháp
Đăng nhập bằng tài khoản miễn phí để đọc phần này.
Method map
The neighbourhood of related methods — select a node to explore.
Nguồn tài liệu
- Kitaev, N., Kaiser, Ł., & Levskaya, A. (2020). Reformer: The efficient transformer. ICLR. link ↗
Cách trích dẫn trang này
ScholarGate. (2026, June 2). Reformer (The Efficient Transformer). ScholarGate. https://scholargate.app/vi/deep-learning/reformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- InformerHọc sâu↔ compare
- Pyraformer: Transformer Chú ý Kim Tự Tháp cho Dự báo Chuỗi Thời gian Tầm xaHọc sâu↔ compare
Được tham chiếu bởi
Phát hiện lỗi trên trang này? Báo cáo hoặc đề xuất chỉnh sửa →