Semi-supervised Transformer

Semi-supervised learning s využitím architektur Transformeru využívá velké množství neanotovaných dat spolu s malou sadou anotovaných dat k trénování výkonných sekvenčních modelů. Dominantní přístup – ztělesněný modelem BERT – nejprve předtrénuje Transformer na neanotovaných datech pomocí samo-dohledových cílů, jako je predikce maskovaných tokenů, a poté jej doladí na anotovaný úkol. Tento dvoufázový přístup dramaticky snižuje množství anotovaných dat potřebných k dosažení silného výkonu.