Semisupervidierter Transformer

Semisupervidiertes Lernen mit Transformer-Architekturen nutzt große Mengen unbeschrifteter Daten neben einem kleinen beschrifteten Datensatz, um leistungsstarke Sequenzmodelle zu trainieren. Das dominierende Muster – beispielhaft dargestellt durch BERT – trainiert den Transformer zunächst auf unbeschrifteten Daten unter Verwendung selbstüberwachter Ziele wie der Masked-Token-Vorhersage und passt ihn dann für die beschriftete Aufgabe an. Dieser zweistufige Ansatz reduziert die benötigten beschrifteten Daten zur Erzielung starker Leistungen drastisch.