Semi-supervised Transformer

Semi-supervised learning med Transformer-arkitekturer utnyttjar stora mängder omärkt data tillsammans med en liten annoterad mängd för att träna kraftfulla sekvensmodeller. Det dominerande mönstret – exemplifierat av BERT – förtränar först Transformern på omärkt data med självövervakade mål såsom maskerad tokenprediktion, och finjusterar den sedan på den annoterade uppgiften. Detta tvåstegsmetod minskar dramatiskt den annoterade data som behövs för att uppnå stark prestanda.