Mamba (модель на основе пространств состояний)

Mamba — это архитектура модели последовательностей, представленная Gu и Dao в 2023 году, которая обеспечивает линейную временную сложность при сохранении высокой производительности в задачах языкового моделирования. Комбинируя модели пространств состояний с зависимой от входных данных селективностью, Mamba решает проблему квадратичной сложности трансформеров, сохраняя при этом моделирующую мощность.