Transformer semi-supervisado

El aprendizaje semi-supervisado con arquitecturas Transformer aprovecha grandes cantidades de datos no etiquetados junto con un pequeño conjunto etiquetado para entrenar potentes modelos de secuencias. El patrón dominante —ejemplificado por BERT— primero pre-entrena el Transformer con datos no etiquetados utilizando objetivos auto-supervisados como la predicción de tokens enmascarados, y luego lo ajusta finamente (fine-tunes) en la tarea etiquetada. Este enfoque de dos etapas reduce drásticamente los datos etiquetados necesarios para lograr un rendimiento sólido.