Transformador Semissupervisionado

A aprendizagem semissupervisionada com arquiteturas Transformer aproveita grandes quantidades de dados não rotulados juntamente com um pequeno conjunto rotulado para treinar modelos de sequência poderosos. O padrão dominante — exemplificado pelo BERT — primeiro pré-treina o Transformer em dados não rotulados usando objetivos de auto-supervisão, como a previsão de tokens mascarados, e depois o ajusta (fine-tunes) na tarefa rotulada. Essa abordagem de duas etapas reduz drasticamente os dados rotulados necessários para atingir um desempenho forte.