Трансферное обучение с использованием LSTM

Трансферное обучение с использованием LSTM — это метод, при котором сеть долговременной краткосрочной памяти (Long Short-Term Memory, LSTM) сначала предварительно обучается на большом исходном корпусе или задаче, а затем её обученные веса переносятся и донастраиваются для меньшей целевой задачи. Этот подход, популяризированный ULMFiT (Howard & Ruder, 2018), позволяет моделям на основе LSTM достигать высокой производительности даже при ограниченном объёме размеченных целевых данных.