Последовательностные и генеративные модели

103 — методы этого семейства.

Избранное

Механизм вниманияThe attention mechanism, introduced by Bahdanau, Cho and Bengio in 2015 and refined by Luong, Pham and Manning the same year, lets a sequence decoder dynamically learn which of the АвтоэнкодерAn autoencoder is an encoder-decoder neural network, popularised by Hinton and Salakhutdinov in 2006, that compresses data into a low-dimensional latent code and then reconstructs Двунаправленная РНСA Bidirectional RNN, introduced by Schuster and Paliwal in 1997, processes a sequence in both forward and backward directions so that every position has access to its full surround CrossformerCrossformer is a Transformer-based architecture for multivariate time series forecasting, introduced by Yunhao Zhang and Junchi Yan at ICLR 2023. Unlike earlier Transformer variant CycleGANCycleGAN, introduced by Zhu et al. at ICCV 2017, learns to translate images between two visual domains without requiring paired training examples. It trains two generators and two DeepARDeepAR is Amazon's industrial forecasting model, introduced by Salinas, Flunkert and Gasthaus (2017; published 2020), that uses an autoregressive recurrent neural network to estima

План чтения

Наиболее цитируемые фундаментальные методы этой темы в порядке их появления — отправная точка, если вы здесь впервые.

Рекуррентная нейронная сеть1986–1990Rumelhart, D. E.; Elman, J. L.
Долговременная краткосрочная память (LSTM)1997Hochreiter, S. & Schmidhuber, J.
Сверточный рекуррентный блок (GRU)2014Cho, K., van Merrienboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., & Bengio, Y.
Генеративно-состязательная сеть2014Goodfellow, I. et al.
Вариационный автокодировщик2014Kingma, D. P. & Welling, M.
Дообученный Трансформер2017–2019Vaswani et al. (architecture); fine-tuning paradigm popularised by Howard & Ruder, Devlin et al.
Мультимодальный трансформер2019–2021Lu et al. (ViLBERT); Radford et al. (CLIP)
Vision Transformer2021Dosovitskiy, A. et al.

все методы на этой полке ↓

Все методы 103

Механизм внимания Автоэнкодер Двунаправленная РНС Crossformer CycleGAN DeepAR Диффузионная модель Доменно-адаптивная диффузионная модель Доменно-адаптивный ГАН Domain-Adaptive GRU Адаптивная к домену рекуррентная нейронная сеть Доменно-адаптированные эмбеддинги предложений Доменно-адаптивный Трансформер Доменно-адаптивный вариационный автокодировщик Адаптивный к домену Vision Transformer Объяснимая диффузионная модель Объяснимый ГАН Объяснимый GRU Объяснимый LSTM Объяснимая рекуррентная нейронная сеть Объяснимый Трансформер Объяснимый вариационный автокодировщик FEDformer: Улучшенный частотный трансформер с разложением Дообученная диффузионная модель Дообученная генеративно-состязательная сеть Дообученная GRU Дообученная LSTM Дообученная рекуррентная нейронная сеть Дообученная суммаризация текстов Дообученный Трансформер Дообученный вариационный автокодировщик Дообученный Vision Transformer Сверточный рекуррентный блок (GRU)Генеративно-состязательная сеть Графовая сеть внимания (Graph Attention Network, GAT)Управляемый рекуррентный блок (GRU)Информер iTransformer Модели латентной диффузии Долговременная краткосрочная память (LSTM)Longformer / BigBird LSTM Маскированные автокодировщики Moirai: Универсальное прогнозирование временных рядов с помощью трансформера Многоязычная диффузионная модель Многоязычная GAN Многоязычный GRU Многоязычная LSTM Многоязычная рекуррентная нейронная сеть Многоязычное реферирование текста Многоязычный вариационный автокодировщик Многоязычный Vision Transformer Мультимодальная диффузионная модель Мультимодальная ГАН (Generative Adversarial Network)Мультимодальный GRU Мультимодальная LSTM Мультимодальная рекуррентная нейронная сеть Мультимодальный трансформер Мультимодальный вариационный автокодировщик Мультимодальный Vision Transformer Non-stationary Transformer PatchTST Pyraformer Рекуррентная нейронная сеть Реформатор: Эффективный Трансформер для Длинных Последовательностей Генеративная модель на основе градиента (score-based)SegRNN Многоголовочное самовнимание Самообучающаяся диффузионная модель Self-supervised GAN Самообучающаяся GRU Трансформер с самообучением (Self-supervised Transformer)Самообучающийся вариационный автокодировщик Самообучающийся Vision Transformer Полуавтономная диффузионная модель Полусупервизорная GAN Полу-контролируемый GRU Полусупервизорная LSTM Трансформер с полуавтоматическим обучением Полусупервизированный вариационный автокодировщик Трансформер зрения с полуавтоматическим обучением Модель «последовательность к последовательности»Swin Transformer T5 (Text-to-Text Transfer Transformer)Временной трансформер слияния Time-MoE: базовая модель для временных рядов на основе Mixture-of-Experts TiRex: Прогнозирование временных рядов с нулевым обучением с помощью xLSTM Transfer Learning GAN Transfer Learning with a Variational Autoencoder Трансферное обучение с диффузионной моделью Трансферное обучение с использованием LSTM Перенос обучения с рекуррентной нейронной сетью Вариационный автокодировщик Vision Transformer Wasserstein GAN (WGAN)Слабо контролируемая диффузионная модель Слабо контролируемая GAN (Weakly Supervised GAN)Слабо контролируемый GRU Слабо контролируемая LSTM Слабо контролируемая рекуррентная нейронная сеть Слабо контролируемый Трансформер Слабо контролируемый вариационный автокодировщик Трансформер зрения со слабой разметкой (WS-ViT)

Ещё в разделе «Глубокое обучение»

Архитектуры и обучение 124