Полу-контролируемый GRU

Полу-контролируемый GRU применяет архитектуру Gated Recurrent Unit к сценариям, где размечена лишь небольшая доля последовательных данных. Предварительно обучая или совместно обучая на большом количестве неразмеченных последовательностей — посредством языкового моделирования, автокодирования или регуляризации согласованности — а затем дообучая на размеченных примерах, модель использует весь корпус для изучения более богатых представлений последовательностей, чем это позволило бы обучение только в режиме контроля.