GPT Fine-Tuning and Instruction Adaptation

Um modelo de linguagem grande já aprendeu gramática, fatos e padrões de raciocínio a partir de um enorme corpus de texto, então raramente é necessário treinar do zero. A fine-tuning pega esse modelo pré-treinado e o direciona para sua própria tarefa — o vocabulário do seu domínio, seu estilo de resposta preferido, suas instruções — continuando o treinamento em um conjunto muito menor e específico da tarefa de exemplos de prompt-resposta.