Самообучающаяся GRU
Самообучающаяся GRU обучает рекуррентную сеть Gated Recurrent Unit (GRU) с использованием автоматически сконструированных сигналов супервизии — таких как предсказание следующего шага или восстановление маскированных токенов — полученных из самих неразмеченных данных. Полученные представления последовательностей затем дообучаются на небольших размеченных наборах данных, что делает высококачественное моделирование последовательностей возможным при дефиците аннотаций.
Читать метод полностью
Войдите с бесплатным аккаунтом, чтобы прочитать этот раздел.
Method map
The neighbourhood of related methods — select a node to explore.
Источники
- Cho, K., van Merriënboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., & Bengio, Y. (2014). Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. In Proceedings of EMNLP 2014. link ↗
- Liu, X., Zhang, F., Hou, Z., Mian, L., Wang, Z., Zhang, J., & Tang, J. (2023). Self-Supervised Learning: Generative or Contrastive. IEEE Transactions on Knowledge and Data Engineering, 35(1), 857–876. DOI: 10.1109/TKDE.2021.3090866 ↗
Как цитировать эту страницу
ScholarGate. (2026, June 3). Self-supervised Gated Recurrent Unit. ScholarGate. https://scholargate.app/ru/deep-learning/self-supervised-gru
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Сверточный рекуррентный блок (GRU)Глубокое обучение↔ compare
- Долговременная краткосрочная память (LSTM)Глубокое обучение↔ compare
- Трансформер с самообучением (Self-supervised Transformer)Глубокое обучение↔ compare
- Полу-контролируемый GRUГлубокое обучение↔ compare
Упоминается в
Нашли ошибку на этой странице? Сообщите о ней или предложите исправление →