Semi-superviseret Transformer

Semi-superviseret læring med Transformer-arkitekturer udnytter store mængder umærket data sammen med et lille mærket datasæt til at træne kraftfulde sekvensmodeller. Det dominerende mønster – eksemplificeret ved BERT – fortræner først Transformer'en på umærket data ved hjælp af selv-superviserede mål, såsom maskeret token-forudsigelse, og finjusterer den derefter på den mærkede opgave. Denne to-trins tilgang reducerer dramatisk den mærkede data, der er nødvendig for at opnå stærk ydeevne.