Semi-supervisert Transformer

Semi-supervisert læring med Transformer-arkitekturer utnytter store mengder umerket data sammen med et lite merket sett for å trene kraftige sekvensmodeller. Det dominerende mønsteret – eksemplifisert ved BERT – forhåndstrener først Transformer-modellen på umerket data ved hjelp av selv-superviserte mål, som prediksjon av maskerte tokens, og finjusterer den deretter på den merkede oppgaven. Denne to-trinns tilnærmingen reduserer merket data som trengs for å oppnå sterk ytelse dramatisk.