Transformer Ajustado Finamente

Ajustar finamente un Transformer adapta un modelo preentrenado grande — como BERT, GPT o ViT — a una tarea específica posterior mediante la continuación del entrenamiento basado en gradientes sobre un conjunto de datos objetivo etiquetado. Este paradigma de dos etapas (preentrenar y luego ajustar finamente) logra consistentemente resultados de vanguardia en tareas de PNL y visión por computadora con muchos menos datos específicos de la tarea que entrenar desde cero.