Transformer con addestramento fine-tuned

Il fine-tuning di un Transformer adatta un modello pre-addestrato di grandi dimensioni — come BERT, GPT o ViT — a un compito specifico downstream continuando l'addestramento basato sul gradiente su un set di dati target etichettato. Questo paradigma a due stadi (pre-addestramento poi fine-tuning) ottiene costantemente risultati allo stato dell'arte in compiti di NLP e visione artificiale con molti meno dati specifici del compito rispetto all'addestramento da zero.