Послідовнісні та генеративні моделі

103 — методи цієї родини.

Вибране

Механізм увагиThe attention mechanism, introduced by Bahdanau, Cho and Bengio in 2015 and refined by Luong, Pham and Manning the same year, lets a sequence decoder dynamically learn which of the АвтокодувальникAn autoencoder is an encoder-decoder neural network, popularised by Hinton and Salakhutdinov in 2006, that compresses data into a low-dimensional latent code and then reconstructs Двонаправлений рекурентний нейронний мережевий модуль (Bidirectional RNN)A Bidirectional RNN, introduced by Schuster and Paliwal in 1997, processes a sequence in both forward and backward directions so that every position has access to its full surround CrossformerCrossformer is a Transformer-based architecture for multivariate time series forecasting, introduced by Yunhao Zhang and Junchi Yan at ICLR 2023. Unlike earlier Transformer variant CycleGAN: переклад зображень без пар із циклічною узгодженістюCycleGAN, introduced by Zhu et al. at ICCV 2017, learns to translate images between two visual domains without requiring paired training examples. It trains two generators and two DeepARDeepAR is Amazon's industrial forecasting model, introduced by Salinas, Flunkert and Gasthaus (2017; published 2020), that uses an autoregressive recurrent neural network to estima

Маршрут читання

Найчастіше цитовані фундаментальні методи цієї теми, у порядку їх розвитку — місце для початку, якщо ви тут уперше.

Рекурентна нейронна мережа1986–1990автор: Rumelhart, D. E.; Elman, J. L.
Довга короткострокова пам'ять (LSTM)1997автор: Hochreiter, S. & Schmidhuber, J.
Блокований рекурентний блок (GRU)2014автор: Cho, K., van Merrienboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., & Bengio, Y.
Генеративно-змагальна мережа2014автор: Goodfellow, I. et al.
Варіаційний автокодувальник2014автор: Kingma, D. P. & Welling, M.
Трансформер з доналаштуванням2017–2019автор: Vaswani et al. (architecture); fine-tuning paradigm popularised by Howard & Ruder, Devlin et al.
Мультимодальний Трансформер2019–2021автор: Lu et al. (ViLBERT); Radford et al. (CLIP)
Трансформер для комп'ютерного зору2021автор: Dosovitskiy, A. et al.

усі методи на цій полиці ↓

Усі методи 103

Механізм уваги Автокодувальник Двонаправлений рекурентний нейронний мережевий модуль (Bidirectional RNN)Crossformer CycleGAN: переклад зображень без пар із циклічною узгодженістю DeepAR Дифузійна модель Доменно-адаптована дифузійна модель ГАН з адаптацією до домену Domain-Adaptive GRU Рекурентна нейронна мережа з адаптацією до домену Доменно-адаптовані ембединги речень Доменно-адаптивний Трансформер Варіаційний автокодувальник з адаптацією до домену Адаптивний до домену трансформер для зорових даних Пояснювана модель дифузії Пояснювані GAN (Explainable GAN)Пояснюваний GRU Пояснювана LSTM Пояснювана рекурентна нейронна мережа Пояснюваний Трансформер Пояснюваний варіаційний автокодувальник FEDformer: Трансформер з покращеною частотою та розкладанням Доопрацьована (fine-tuned) дифузійна модель Тонко налаштована генеративно-змагальна мережа Доналаштований GRU Fine-Tuned LSTM Доопрацьована рекурентна нейронна мережа Точне налаштування резюмування тексту Трансформер з доналаштуванням Варіаційний автокодувальник із доналаштуванням Vision Transformer з доналаштуванням Блокований рекурентний блок (GRU)Генеративно-змагальна мережа Графова уважна мережа Блокований рекурентний блок (GRU)Informer iTransformer Моделі прихованої дифузії Довга короткострокова пам'ять (LSTM)Longformer / BigBird LSTM Масковані автокодувальники Мойри: універсальний трансформер для прогнозування часових рядів Багатомовна дифузійна модель Багатомовна GAN (Generative Adversarial Network)Багатомовний GRU Багатомовна LSTM Багатомовна рекурентна нейронна мережа Багатомовне узагальнення тексту Багатомовний варіаційний автокодувальник Багатомовний Vision Transformer Мультимодальна дифузійна модель Мультимодальний GAN Мультимодальний GRU Мультимодальна LSTM Багатомодальна рекурентна нейронна мережа Мультимодальний Трансформер Мультимодальний варіаційний автокодувальник Мультимодальний трансформер бачення Нестаціонарний Трансформер PatchTST Pyraformer Рекурентна нейронна мережа Reformer: Ефективний Transformer для довгих послідовностей Генеративна модель на основі градієнта (Score-Based Generative Model)SegRNN Багатоголова самостійна увага Самокеровані дифузійні моделі Self-supervised GAN Самокерований GRU Трансформер із самокерованим навчанням Автокодувальник Варіанційного типу із самоконтролем Самокерований Трансформер Бачення Напівконтрольована дифузійна модель Напівкерований GAN Напівкерована GRU Напівкерована LSTM Трансформер із напівкерованим навчанням Напівавтоматичний варіаційний автокодувальник Трансформер зору з напівкерованим навчанням Модель послідовність-послідовність Swin Transformer T5 (Text-to-Text Transfer Transformer)Temporal Fusion Transformer Time-MoE: Модель фундаменту для часових рядів на основі суміші експертів TiRex: Нульове прогнозування часових рядів за допомогою xLSTM Transfer Learning GAN Трансферне навчання з варіаційним автокодувальником Трансферне навчання з дифузійними моделями Трансферне навчання з LSTM Навчання з переносом за допомогою рекурентної нейронної мережі Варіаційний автокодувальник Трансформер для комп'ютерного зору Генеративна змагальна мережа Вассерштейна (WGAN)Модель дифузії зі слабким наглядом Слабокерована GAN Слабкокерований GRU LSTM зі слабким наглядом Рекурентна нейронна мережа зі слабким наглядом Трансформер зі слабким наглядом Варіаційний автокодувальник зі слабким наглядом Трансформер для зображень зі слабким наглядом

Ще в розділі «Глибоке навчання»

Архітектури та навчання 124