Reformer: El Transformer Eficiente para Secuencias Largas
El Reformer es una variante eficiente de la arquitectura Transformer introducida por Kitaev, Kaiser y Levskaya en ICLR 2020. Aborda el prohibitivo coste computacional y de memoria O(L²) de la auto-atención estándar para secuencias largas. Las innovaciones clave son la atención por hashing sensible a la localidad (LSH, por sus siglas en inglés), que aproxima la atención completa en tiempo O(L log L), y las capas residuales reversibles que reducen drásticamente la memoria de activación durante el entrenamiento.
Leer el método completo
Inicia sesión con una cuenta gratuita para leer esta sección.
Method map
The neighbourhood of related methods — select a node to explore.
Fuentes
- Kitaev, N., Kaiser, Ł., & Levskaya, A. (2020). Reformer: The efficient transformer. ICLR. link ↗
Cómo citar esta página
ScholarGate. (2026, June 2). Reformer (The Efficient Transformer). ScholarGate. https://scholargate.app/es/deep-learning/reformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- InformerAprendizaje profundo↔ compare
- PyraformerAprendizaje profundo↔ compare
Citado por
¿Has visto un problema en esta página? Infórmanos o sugiere una corrección →