Transformer auto-supervisado

Un Transformer auto-supervisado es una red Transformer preentrenada utilizando señales de supervisión construidas automáticamente —como la predicción de tokens enmascarados o la predicción de la siguiente oración— en lugar de etiquetas anotadas por humanos. Las representaciones resultantes se ajustan finamente (fine-tuned) o se sondean (probed) en tareas posteriores (downstream tasks). BERT, GPT y ViT (Vision Transformer en modo de modelado de imágenes enmascaradas) son las instancias más conocidas de este paradigma.